Sự bứt phá tiếp theo của AI dường như không thể báo cáo kịp thời.
Theo báo cáo của The Wall Street Journal vào ngày 20, dự án AI thế hệ mới GPT-5 (mã hiệu Orion) của OpenAI đang đối mặt với nhiều khó khăn. Dự án này đã được phát triển hơn 18 tháng, với chi phí khổng lồ, nhưng vẫn chưa đạt được kết quả mong đợi.
Một nguồn tin tiết lộ rằng, Microsoft - "nhà tài trợ lớn nhất" của OpenAI, ban đầu dự kiến sẽ thấy mô hình mới vào khoảng giữa năm 2024. OpenAI đã thực hiện ít nhất hai đợt huấn luyện quy mô lớn, mỗi lần kéo dài hàng tháng và tiêu tốn lượng lớn dữ liệu, nhưng mỗi lần đều xuất hiện vấn đề mới, phần mềm không thể đạt được kết quả mà các nhà nghiên cứu mong đợi.
Phân tích cho rằng, có thể không có đủ dữ liệu trên thế giới để nó trở nên đủ thông minh.
Chi phí khổng lồ khiến người ta sửng sốt, dự án GPT-5 không tiến triển suôn sẻ
Các nhà phân tích trước đây dự đoán rằng, các tập đoàn công nghệ lớn có thể sẽ đầu tư 1 nghìn tỷ USD vào các dự án trí tuệ nhân tạo trong vài năm tới. Có ước tính cho thấy, chỉ riêng việc huấn luyện GPT-5 trong 6 tháng đã tốn khoảng 500 triệu USD về chi phí tính toán. Giám đốc điều hành của OpenAI, Sam Altman, cũng cho biết rằng, chi phí của các mô hình AI trong tương lai có thể sẽ vượt quá 1 tỷ USD.
Tuy nhiên, những người hiểu rõ dự án này cho biết:
"Mặc dù Orion có hiệu suất tốt hơn so với các sản phẩm hiện tại của OpenAI, nhưng vẫn chưa đủ để chứng minh chi phí hoạt động khổng lồ của nó là hợp lý."
Vào tháng 10 năm nay, việc các nhà đầu tư định giá OpenAI ở mức 157 tỷ USD phần lớn dựa trên dự đoán của Altman, người trước đây đã nói rằng GPT-5 sẽ là một "bước nhảy vọt lớn", và ông cũng từng nói rằng GPT-4 hoạt động như một học sinh giỏi cấp 3, nhưng GPT-5 cuối cùng sẽ hoạt động như một tiến sĩ trong một số nhiệm vụ.
Báo cáo cho biết, GPT-5 nên có thể mở khóa các khám phá khoa học mới và hoàn thành các nhiệm vụ hàng ngày của con người như đặt lịch hẹn hoặc chuyến bay. Các nhà nghiên cứu hy vọng nó sẽ mắc ít lỗi hơn các mô hình AI hiện tại, hoặc ít nhất cũng thừa nhận "sự nghi ngờ", vì các mô hình hiện tại có thể tạo ra ảo giác.
Tuy nhiên, vẫn chưa có tiêu chuẩn cố định về "khi nào nó sẽ đủ thông minh", mà chủ yếu dựa vào cảm nhận.
Cho đến nay, GPT-5 đang được phát triển vẫn chưa đủ mạnh. Altman cho biết vào tháng 11 rằng, "sẽ không có sản phẩm nào mang tên GPT-5 được phát hành trong năm 2024".
Thiếu dữ liệu trở thành rào cản chính
Để tránh "lãng phí" khoản đầu tư khổng lồ, các nhà nghiên cứu đã cố gắng giảm thiểu rủi ro thất bại bằng cách chạy thử nghiệm quy mô nhỏ.
Tuy nhiên, kế hoạch của GPT-5 dường như đã gặp vấn đề ngay từ đầu. Vào giữa năm 2023, OpenAI bắt đầu một đợt chạy huấn luyện, đồng thời cũng là kiểm tra thiết kế mới được đề xuất cho Orion. Nhưng quá trình này diễn ra chậm chạp, cho thấy việc huấn luyện quy mô lớn hơn có thể mất rất nhiều thời gian, điều này lại khiến chi phí trở nên vô cùng đắt đỏ.
Các nhà nghiên cứu của OpenAI đã quyết định thực hiện một số điều chỉnh kỹ thuật để tăng cường Orion, và họ cũng phát hiện ra rằng, để khiến Orion trở nên thông minh hơn, cần phải có thêm nhiều dữ liệu chất lượng cao và đa dạng hơn. Việc kiểm tra mô hình là một quá trình liên tục, và các đợt huấn luyện quy mô lớn có thể mất vài tháng, với hàng nghìn tỷ Token được "cung cấp" cho mô hình.
Tuy nhiên, dữ liệu từ các bài báo trên internet công cộng, bài đăng trên mạng xã hội, bài báo khoa học, v.v. đã không đủ để đáp ứng nhu cầu. Giám đốc điều hành của DatologyAI, Ari Morcos, nói:
"Điều này trở nên rất tốn kém và khó tìm thêm dữ liệu chất lượng tương đương."
Để giải quyết vấn đề này, OpenAI đã chọn cách tạo dữ liệu từ đầu. Họ đã thuê các kỹ sư phần mềm và toán học để viết mã mới hoặc giải quyết các vấn đề toán học, sử dụng chúng làm dữ liệu huấn luyện.
Công ty cũng hợp tác với các chuyên gia trong lĩnh vực như vật lý lý thuyết, giải thích cách họ sẽ xử lý những vấn đề phức tạp nhất trong lĩnh vực này, nhưng quá trình này rất chậm chạp, GPT-4 đã sử dụng khoảng 130 nghìn tỷ Token để huấn luyện. Ngay cả khi có 1.000 người viết 5.000 từ mỗi ngày, trong vài tháng cũng chỉ có thể tạo ra 1 tỷ Token.
OpenAI cũng bắt đầu phát triển "dữ liệu tổng hợp", sử dụng dữ liệu do AI tạo ra để huấn luyện Orion, và tin rằng họ có thể tránh các lỗi bằng cách sử dụng dữ liệu do mô hình AI o1 của họ tạo ra.
Google đuổi kịp, OpenAI lao đầu vào?
Trong năm nay, khi Google ra mắt ứng dụng AI mới được ưa chuộng NotebookLM, OpenAI càng trở nên hoảng loạn.
Do Orion bị trì trệ, công ty đã bắt đầu phát triển các dự án và ứng dụng khác, bao gồm một phiên bản精简 của GPT-4 và Sora, một ứng dụng có thể tạo ra video do AI tạo ra. Tuy nhiên, những người hiểu biết cho biết, điều này đã dẫn đến sự cạnh tranh giữa các nhóm phát triển sản phẩm mới và các nhà nghiên cứu Orion về tài nguyên tính toán hạn chế.
Ngoài ra, OpenAI cũng đang phát triển các mô hình suy luận tiên tiến hơn, tin rằng bằng cách để AI "suy nghĩ" lâu hơn, họ có thể giải quyết các vấn đề phức tạp mà mô hình chưa từng gặp phải trong quá trình huấn luyện.
Tuy nhiên, các chiến lược mới này cũng đối mặt với thách thức. Các nhà nghiên cứu của Apple phát hiện ra rằng, các mô hình suy luận, bao gồm cả o1 của OpenAI, có khả năng chỉ đang mô phỏng dữ liệu huấn luyện, chứ không thực sự giải quyết các vấn đề mới. Hơn nữa, phương pháp tạo ra nhiều câu trả lời của o1 cũng đã làm tăng đáng kể chi phí hoạt động.
Tuy nhiên, OpenAI vẫn kiên trì tiếp tục phát triển GPT-5. Vào thứ Sáu, Altman đã công bố kế hoạch về một mô hình suy luận mới thông minh hơn bất kỳ sản phẩm nào trước đây, nhưng không tiết lộ khi nào hoặc liệu có ra mắt một mô hình được gọi là GPT-5 hay không.
Bài viết này không phải là lời khuyên đầu tư cá nhân, không đại diện cho quan điểm của nền tảng, thị trường có rủi ro, đầu tư cần thận trọng, vui lòng đưa ra phán đoán và quyết định độc lập.
Bài viết này đến từ tài khoản WeChat chính thức "华尔街见闻", tác giả: Hoàng Văn Văn, được 36氪ủy quyền đăng tải.
