Dự án GPT-5 (mã hiệu Orion) kéo dài hơn 18 tháng nhưng vẫn chưa có kết quả cụ thể.
Theo báo cáo mới nhất của The Wall Street Journal, một người thân cận với dự án cho biết mặc dù hiện tại Orion có hiệu suất tốt hơn so với các mô hình hiện tại của OpenAI, nhưng những tiến bộ hiện tại vẫn chưa đủ để chứng minh chi phí khổng lồ để vận hành mô hình mới là hợp lý.
Theo nguồn tin, GPT-5 đã trải qua ít nhất hai vòng huấn luyện, mỗi vòng đều phát hiện ra các vấn đề mới, không đạt được kỳ vọng của các nhà nghiên cứu. Hơn nữa, mỗi vòng huấn luyện mất hàng tháng, chỉ một vòng tính toán cũng tốn gần 500 triệu USD.
Tóm lại, liệu dự án này có thể thành công và khi nào thì thành công vẫn chưa rõ ràng. Nó còn đối mặt với một vấn đề nghiêm trọng hơn: lượng dữ liệu toàn cầu không đủ để nó đạt được mức độ thông minh mong muốn.
Gặp nhiều khó khăn trong quá trình huấn luyện
Sau khi GPT-4 được phát hành vào tháng 3 năm 2023, OpenAI đã ngay lập tức bắt đầu phát triển GPT-5. Vào tháng 11 năm 2023, Altman đã từng nói rằng họ sẽ không phát hành bất cứ thứ gì mang tên GPT-5 trong năm 2024.
Nói chung, khả năng của các mô hình AI sẽ tăng lên khi chúng hấp thụ nhiều dữ liệu hơn. Trong quá trình huấn luyện, mô hình được cung cấp hàng nghìn tỷ Token, quá trình huấn luyện có thể kéo dài hàng tháng và phụ thuộc vào hàng nghìn thiết bị tính toán đắt tiền và hiếm hoi. Altman đã tiết lộ rằng chỉ riêng chi phí huấn luyện GPT-4 đã vượt quá 100 triệu USD, và chi phí huấn luyện các mô hình AI trong tương lai dự kiến sẽ vượt quá 1 tỷ USD. Nếu huấn luyện thất bại, hậu quả sẽ giống như thất bại trong việc phóng tên lửa, gây ra thiệt hại lớn.
Để giảm thiểu rủi ro thất bại, OpenAI thường tiến hành các bài kiểm tra quy mô nhỏ trước, để xác minh tính khả thi của thiết kế và quá trình huấn luyện mô hình. Bằng cách này, các nhà nghiên cứu có thể phát hiện và sửa chữa các vấn đề tiềm ẩn trước khi tiến hành huấn luyện quy mô lớn chính thức.
Tuy nhiên, việc phát triển GPT-5 đã gặp phải thách thức ngay từ đầu. Vào giữa năm 2023, OpenAI đã khởi động một thử nghiệm huấn luyện mang tên "Arrakis" nhằm kiểm tra thiết kế mới của GPT-5. Đáng tiếc, tiến độ huấn luyện chậm chạp, cho thấy nếu tiến hành huấn luyện quy mô lớn hơn, sẽ mất rất nhiều thời gian và chi phí cực kỳ cao. Kết quả thử nghiệm cũng cho thấy việc phát triển GPT-5 phức tạp và khó khăn hơn dự kiến ban đầu.
Do đó, nhóm nghiên cứu của OpenAI quyết định thực hiện một loạt các điều chỉnh kỹ thuật đối với Orion, và nhận ra rằng dữ liệu công khai trên Internet hiện tại không đủ để đáp ứng nhu cầu của mô hình. Để cải thiện hiệu suất của GPT-5, họ cấp bách cần nhiều loại dữ liệu hơn và chất lượng cao hơn.
"Tạo dữ liệu từ đầu"
Để giải quyết vấn đề thiếu dữ liệu, OpenAI quyết định "tạo dữ liệu từ đầu". Cụ thể, OpenAI đang tuyển dụng người viết mã phần mềm mới hoặc giải quyết các vấn đề toán học, để Orion học hỏi từ những nhiệm vụ này.
Nhiều nhà nghiên cứu cho rằng, mã nguồn là ngôn ngữ của phần mềm, có thể giúp các mô hình lớn giải quyết những vấn đề mà chúng chưa từng gặp, từ đó nâng cao khả năng giải quyết các vấn đề phức tạp.
Giám đốc điều hành và đồng sáng lập của Turing, Jonathan Siddharth, cho biết: "Chúng tôi đang chuyển trí tuệ con người từ não người sang não máy."
Trong quá trình huấn luyện AI, một lãnh đạo của Turing giải thích rằng các kỹ sư phần mềm có thể được yêu cầu viết một chương trình để hiệu quả giải quyết các vấn đề logic phức tạp; trong khi các nhà toán học có thể cần tính toán chiều cao tối đa của kim tự tháp bằng 1 triệu quả bóng rổ. Điều then chốt không chỉ là có được câu trả lời cuối cùng, mà còn là quá trình suy nghĩ để đưa ra câu trả lời, tất cả sẽ được đưa vào tài liệu huấn luyện của AI.
Ngoài ra, OpenAI cũng hợp tác với các chuyên gia trong lĩnh vực vật lý lý thuyết, để họ giải thích cách giải quyết các vấn đề phức tạp trong lĩnh vực của mình. Nội dung này cũng giúp nâng cao mức độ thông minh của Orion.
Tuy nhiên, việc thuê người xây dựng dữ liệu từ đầu rõ ràng không phải là một quá trình hiệu quả. Dữ liệu huấn luyện của GPT-4 là khoảng 13 nghìn tỷ Token. Nếu có 1.000 người viết 5.000 từ mỗi ngày, sản xuất 1 tỷ Token cũng mất vài tháng.
Để tăng tốc quá trình huấn luyện, OpenAI cũng sử dụng "dữ liệu tổng hợp", tức là dữ liệu do AI tạo ra, để hỗ trợ huấn luyện Orion. Tuy nhiên, các nghiên cứu cho thấy, việc sử dụng dữ liệu do AI tạo ra để huấn luyện lại AI có thể dẫn đến mô hình phạm sai lầm hoặc tạo ra kết quả vô nghĩa.
Về vấn đề này, nguồn tin cho biết các nhà khoa học của OpenAI tin rằng họ có thể tránh được những vấn đề này bằng cách sử dụng dữ liệu do o1 tạo ra.
Tiến lên phía trước giữa áp lực bên trong và bên ngoài
Thách thức mà OpenAI đối mặt không chỉ ở mặt kỹ thuật, mà còn có sự bất ổn nội bộ và sự cạnh tranh không ngừng nghỉ từ các đối thủ. Ngoài ra, áp lực kép từ công nghệ và tài chính cũng đang tăng lên rõ rệt. Mỗi đợt huấn luyện tốn tới 500 triệu USD, vì vậy tổng chi phí huấn luyện có thể vượt quá 1 tỷ USD. Đồng thời, sự trỗi dậy của các đối thủ cạnh tranh như Anthropic, Google cũng tạo ra áp lực lớn hơn cho OpenAI.
Việc mất nhân tài và bất đồng nội bộ càng làm chậm tiến độ phát triển. Năm ngoái, hội đồng quản trị của OpenAI đột ngột sa thải Altman, khiến một số nhà nghiên cứu bắt đầu nghi ngờ liệu công ty có thể tiếp tục hoạt động hay không. Tuy nhiên, Altman nhanh chóng được bổ nhiệm lại làm Giám đốc điều hành và bắt tay vào cải cách cơ cấu quản trị của công ty.
Trong năm nay, hơn 20 lãnh đạo, nhà nghiên cứu và nhân viên lâu năm đã rời khỏi OpenAI, bao gồm đồng sáng lập và Giám đốc khoa học Ilya Sutskever và Giám đốc kỹ thuật Mira Murati. Gần đây, nhà nghiên cứu được tôn trọng là Alec Radford cũng thông báo rời khỏi, sau khoảng 8 năm làm việc tại OpenAI và đóng góp nhiều bài báo quan trọng.
Khi tiến độ của Orion bị chậm lại, OpenAI bắt đầu phát triển các dự án và ứng dụng khác, bao gồm phiên bản đơn giản hóa của GPT-4 và sản phẩm Sora có thể tạo ra video AI. Tuy nhiên, báo cáo cũng đề cập rằng điều này đã dẫn đến sự cạnh tranh giữa các nhóm để giành tài nguyên tính toán hạn chế, đặc biệt là giữa nhóm phát triển sản phẩm mới và nhóm nghiên cứu Orion.
Khó khăn của GPT-5 có thể tiết lộ một vấn đề lớn hơn trong ngành: liệu AI đã tiến gần đến "giai đoạn trì trệ" trong phát triển? Các chuyên gia trong ngành chỉ ra rằng, chiến lược dựa vào dữ liệu khổng lồ và mô hình lớn hơn đang dần mất hiệu quả. Như nhà khoa học trước đây của OpenAI, Sutskever, đã nói công khai gần đây, "Chúng tôi chỉ có một Internet", tốc độ tăng trưởng dữ liệu đang chậm lại, nguồn "nhiên liệu hóa thạch" thúc đẩy bước nhảy vọt của AI đang dần cạn kiệt.
Đối với tương lai của GPT-5, Altman vẫn chưa đưa ra lịch trình cụ thể, hiện tại chúng ta vẫn chưa thể xác định liệu OpenAI sẽ ra mắt một mô hình đáng gọi là GPT-5 hay không.
Tham khảo:
https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693
Bài viết này được trích từ trang WeChat "AI Front Line", biên tập: Yan Shan, được 36Kr ủy quyền đăng tải.
