Cái gì? Biết đâu mô hình lớn sẽ sớm tạo ra những kiệt tác 3A như "Black Myth: Wukong"? !
Chỉ cần xem bản demo, "Tây Du Ký" trên bàn:
Kết hợp với BGM, nó có hương vị bên trong (doge) không?
Đây là GameGen-O mà Tencent mới ra mắt gần đây, một mẫu Transformer được thiết kế đặc biệt để tạo ra các trò chơi điện tử thế giới mở .
Nói một cách đơn giản, mô hình này có thể mô phỏng các chức năng khác nhau của công cụ trò chơi, tạo nhân vật trò chơi, hoàn cảnh động, hành động phức tạp, v.v.
Tất nhiên, điều khiển tương tác cũng được hỗ trợ và người dùng có thể điều khiển nội dung trò chơi thông qua văn bản, tín hiệu vận hành và lời nhắc video.
Ngay sau khi tin tức được công bố, 𝕏 (trước đây là Twitter) đã chuyển sang chế độ vuốt và cư dân mạng bắt đầu xếp hàng và hét lên:
Đồng sáng lập và CTO của studio game Azra Games thậm chí còn thẳng thắn nói:
GameGen-O sẽ là khoảnh khắc ChatGPT dành cho các studio trò chơi .
“Game Studio có khoảnh khắc ChatGPT”
Cụ thể, dự án này được khởi động bởi Tencent Photon Studio (từng tạo ra Peace Elite) kết hợp với Đại học Khoa học và Công nghệ Hồng Kông và Đại học Khoa học và Công nghệ Trung Quốc.
Người ta suy đoán rằng điều họ muốn làm là sử dụng các mô hình AI để thay thế một số liên kết phát triển trò chơi . Ví dụ: tạo nhân vật trò chơi, tạo hoàn cảnh trò chơi, tạo hành động, tạo sự kiện và các điều khiển tương tác khác nhau hiện đã được công bố.
Hãy xem trước từng cái bên dưới ~
Giờ đây, bạn có thể sử dụng GameGen-O để trực tiếp tạo ra nhiều nhân vật khác nhau, chẳng hạn như cao bồi miền Tây, phi hành gia, pháp sư, lính gác... chỉ bằng một cú nhấp chuột.
Không đủ kinh phí đã gây khó khăn cho việc quay phim ngoài đời thực, nhưng cũng có kế hoạch B!
Cho đồng đội của bạn thấy những bước di chuyển thú vị và bạn có thể dễ dàng tạo ra các hành động từ nhiều góc độ cá nhân khác nhau.
Một phần cần thiết của trò chơi - thỉnh thoảng mang đến cho người chơi những điểm khó hàng trăm triệu, và các sự kiện sóng thần, lốc xoáy và hỏa hoạn được sắp xếp tại đây (doge).
Đồng thời, GameGen-O cũng hỗ trợ tạo miền mở, không giới hạn về phong cách, hoàn cảnh và bối cảnh.
Cuối cùng, có thể đạt được sự tương tác bằng cách sử dụng văn bản, tín hiệu vận hành và lời nhắc video, trái, phải, về phía bình minh...
Các bạn ơi, ai cũng biết việc phát triển game tốn kém như thế nào. Giờ đây, người chơi bình thường cũng có thể sử dụng GameGen-O tạo ra game.
Một cư dân mạng kiến trúc sư AI thậm chí còn khẳng định:
Dán nhãn dữ liệu bằng GPT-4o
Để phát triển mô hình này, đội ngũ báo cáo rằng họ chủ yếu thực hiện hai nhiệm vụ :
Xây dựng bộ dữ liệu độc quyền OGameData và sử dụng GPT-4o để chú thích dữ liệu
Trải qua quá trình đào tạo hai giai đoạn
Cụ thể, lần đầu tiên đội ngũ đề xuất một quy trình xây dựng tập dữ liệu .
Đội ngũ đã thu thập 32.000 video gốc từ Internet. Những video này đến từ hàng trăm trò chơi thế giới mở, có độ dài từ vài phút đến hàng giờ, bao gồm các trò chơi nhân vật, bắn súng góc nhìn thứ nhất, đua xe, giải đố hành động, v.v.
Những video này sau đó được các chuyên gia con người xác định và lọc, tạo ra khoảng 15.000 video có thể sử dụng được.
Ở bước tiếp theo, video được lọc sẽ được cắt thành các phân đoạn bằng công nghệ phát hiện cảnh và các phân đoạn video này được sắp xếp và lọc nghiêm ngặt dựa trên tính thẩm mỹ, luồng quang học và nội dung ngữ nghĩa.
Tiếp theo, GPT-4o được sử dụng để chú thích tỉ mỉ hơn 4.000 giờ cảnh quay video chất lượng cao, ở độ phân giải từ 720p đến 4k.
Để đạt được khả năng kiểm soát tương tác, đội ngũ đã chọn các phân đoạn có chất lượng cao nhất từ dữ liệu có chú thích và thực hiện gắn nhãn tách rời .
Nhãn này được thiết kế để mô tả các thay đổi về trạng thái nội dung của một đoạn , đảm bảo rằng tập dữ liệu để huấn luyện mô hình chi tiết hơn và có tính tương tác hơn.
Về hình thức chuyên gia con người làm việc cùng với GPT-4o này, một số cư dân mạng cho rằng:
Đây là một hình thức tự hoàn thiện đệ quy. (Chuyên gia con người đảm bảo tính chính xác của chú thích và giúp GPT-4o tự hoàn thiện thông qua cơ chế phản hồi)
Sau khi hoàn thành công việc chuẩn bị dữ liệu, đội ngũ đã đào tạo GameGen-O thông qua hai quy trình : đào tạo trước cơ bản + điều chỉnh hướng dẫn .
Ở giai đoạn đào tạo cơ bản , mô hình GameGen-O sử dụng VAE 2+1D (bộ mã hóa tự động biến thiên, chẳng hạn như Magvit-v2) để nén các video clip.
Để điều chỉnh VAE phù hợp với lĩnh vực trò chơi, đội ngũ đã thực hiện các điều chỉnh theo miền cụ thể đối với bộ giải mã VAE.
Đội ngũ đã áp dụng chiến lược đào tạo kết hợp với các tốc độ khung hình và độ phân giải khác nhau để nâng cao khả năng tổng quát hóa giữa các tốc độ khung hình và độ phân giải.
Ngoài ra, kiến trúc tổng thể của mô hình tuân theo các nguyên tắc của khung Latte và OpenSora V1.2.
Bằng cách sử dụng cơ chế chú ý ẩn, GameGen-O có khả năng kép tạo văn bản thành video và phần tiếp theo của video .
Đội ngũ đã giới thiệu:
Phương pháp đào tạo này, kết hợp với tập dữ liệu OGameData, cho phép mô hình tạo nội dung trò chơi điện tử trường mở một cách ổn định và có chất lượng cao, đồng thời đặt nền tảng cho các khả năng điều khiển tương tác tiếp theo.
Sau đó, mô hình được huấn luyện trước sẽ được cố định và tinh chỉnh bằng cách sử dụng InstructNet có thể huấn luyện, cho phép mô hình tạo các khung tiếp theo dựa trên các hướng dẫn cấu trúc đa phương thức.
InstructNet chủ yếu được sử dụng để chấp nhận các đầu vào đa phương thức khác nhau, bao gồm văn bản có cấu trúc, tín hiệu vận hành và lời nhắc video.
Trong quá trình điều chỉnh nhánh InstructNet, nội dung hiện tại được sử dụng làm điều kiện, từ đó thiết lập mối quan hệ ánh xạ giữa nội dung phân đoạn hiện tại và nội dung phân đoạn trong tương lai, được thực hiện dưới tín hiệu điều khiển đa phương thức.
Kết quả là trong quá trình suy luận, GameGen-O cho phép người dùng liên tục tạo và kiểm soát đoạn được tạo tiếp theo dựa trên đoạn hiện tại .
Hiện tại GameGen-O đã tạo kho lưu trữ GitHub chính thức nhưng vẫn chưa có thời gian upload code.
Nếu bạn quan tâm đến giày trẻ em, bạn có thể sưu tầm trước ~
Trang chủ dự án: https://gamegen-o.github.io/
Kho lưu trữ chính thức của GitHub: https://github.com/GameGen-O/GameGen-O/
Liên kết tham khảo:
[1]https://x.com/_akhaliq/status/1834590455226339492
[2]https://x.com/8teapi/status/1834615421728948581?s=46
Bài viết này xuất phát từ tài khoản công khai WeChat "Qubit" , tác giả: Hãy chú ý đến công nghệ tiên tiến, 36 Krypton được xuất bản với sự cho phép.
