Có chuyện lớn xảy ra với OpenAI! Gần đây, nhiều tin tức rò rỉ liên tục, chẳng hạn như OpenAI đã vượt qua "tự cải tiến lặp đi lặp lại" và các mô hình o4, o5 đã có thể tự động hóa nghiên cứu AI, thậm chí OpenAI đã phát triển ra GPT-5? Các nhân viên của OpenAI đang rò rỉ thông tin như thủy triều, gợi ý mạnh mẽ rằng họ đã phát triển ra ASI bên trong.
Nhiều dấu hiệu cho thấy OpenAI dường như đã xảy ra một sự kiện lớn gần đây.
Nhà nghiên cứu AI Gwern Branwen đã đăng một bài viết về các mô hình o3, o4, o5 của OpenAI.
Theo ông, OpenAI đã vượt qua ngưỡng "tự cải tiến lặp đi lặp lại" - o4 hoặc o5 có thể tự động hóa nghiên cứu AI và hoàn thành phần còn lại!
Những điểm chính của bài viết như sau:
- OpenAI có thể chọn giữ bí mật mô hình "o1-pro" của họ, sử dụng tài nguyên tính toán để huấn luyện các mô hình cao cấp hơn như o3, tương tự như chiến lược của Anthropic
- OpenAI có thể tin rằng họ đã đạt được bước đột phá trong phát triển AI và đang trên đường đến ASI
- Mục tiêu là phát triển một siêu trí tuệ nhân tạo có hiệu suất cao, tương tự như mục tiêu của AlphaGo/Zero
- Tăng cường tìm kiếm khi suy luận có thể cải thiện hiệu suất ban đầu, nhưng cuối cùng sẽ đạt đến giới hạn
Thậm chí, còn xuất hiện một tin đồn rằng OpenAI và Anthropic đã huấn luyện được các mô hình ở cấp độ GPT-5, nhưng đều chọn "giấu kín".
Lý do là, mặc dù các mô hình này có khả năng mạnh mẽ, nhưng chi phí vận hành quá cao, nên việc chưng cất GPT-4o, o1, o3 từ GPT-5 sẽ có hiệu quả hơn.
Thậm chí, gần đây, các bài đăng trên Twitter của Stephen McAleer, nhà nghiên cứu an toàn của OpenAI, gần như giống như truyện khoa học viễn tưởng ngắn:
Tôi hơi nhớ những ngày trước đây khi chúng tôi còn không biết cách tạo ra trí tuệ siêu việt.
Trong các phòng thí nghiệm tiên phong, nhiều nhà nghiên cứu đã rất nghiêm túc xem xét tác động ngắn hạn của AI, trong khi bên ngoài hầu như không ai thảo luận đầy đủ về tác động an toàn của nó.
Và bây giờ, kiểm soát trí tuệ siêu việt đã trở thành một vấn đề nghiên cứu cấp bách.
Chúng ta nên làm gì để kiểm soát trí tuệ siêu việt đầy mưu mô? Ngay cả khi chúng ta có một bộ giám sát hoàn hảo, liệu nó có thể thuyết phục chúng ta giải phóng nó khỏi hộp cát không?
Tóm lại, ngày càng có nhiều nhân viên của OpenAI bắt đầu gợi ý rằng họ đã phát triển ASI bên trong.
Điều này có thật không? Hay đây chỉ là phong cách của CEO Altman, "người đố vấn", được các nhân viên dưới quyền học theo?
Nhiều người cho rằng đây chỉ là một trong những chiêu trò thường thấy của OpenAI.
Nhưng điều khiến mọi người lo lắng là, một số người rời khỏi OpenAI cách đây một hoặc hai năm, thực ra đã từng bày tỏ lo ngại.
Không lẽ chúng ta thực sự đang ở bờ vực của ASI?
Liệu "hộp Pandora" của trí tuệ siêu việt (superintelligence) đã thực sự được mở ra?
OpenAI: "Dẫn đầu xa"
Các mô hình o1 và o3 của OpenAI đã mở ra một phạm vi mới: đầu tư thêm tài nguyên tính toán vào quá trình suy luận của mô hình để ổn định cải thiện hiệu suất.
Như minh họa dưới đây, độ chính xác AIME của o1 tăng đều đặn theo logarit của tài nguyên tính toán được sử dụng trong quá trình kiểm tra.
Mô hình o3 của OpenAI tiếp tục xu hướng này, đạt được những thành tích kỷ lục:
- Đạt điểm số 2727 trên Codeforces, xếp hạng 175 trong số những lập trình viên giỏi nhất thế giới;
- Đạt điểm 25% trên FrontierMath, một nền tảng mà "mỗi câu hỏi đều cần vài giờ làm việc của các nhà toán học";
- Đạt điểm 88% trên GPQA, trong đó 70% điểm tương đương với trình độ tiến sĩ về kiến thức khoa học;
- Đạt điểm 88% trên ARC-AGI, trong khi điểm trung bình của những người làm công việc Mechanical Turk trên các bài toán trực quan khó là 75%.
Theo OpenAI, sự cải thiện hiệu suất của các mô hình o chủ yếu đến từ việc tăng độ dài của chuỗi suy luận (Chain-of-Thought, CoT) (cùng với các kỹ thuật khác như cây suy luận), và cải thiện quá trình CoT thông qua học tăng cường.
Hiện tại, chạy o3 ở mức hiệu suất tối đa rất tốn kém, với chi phí khoảng 300 USD cho một nhiệm vụ ARC-AGI, nhưng chi phí suy luận đang giảm khoảng 10 lần mỗi năm!
Một phân tích mới nhất của Epoch AI chỉ ra rằng chi phí huấn luyện và suy luận mô hình ở các phòng thí nghiệm tiên phong có thể tương tự nhau.
Do đó, trừ khi tiếp cận giới hạn cứng của việc mở rộng suy luận, các phòng thí nghiệm tiên phong sẽ tiếp tục đầu tư lớn vào việc tối ưu hóa suy luận mô hình, và chi phí sẽ tiếp tục giảm.
Nói chung, phạm vi mở rộng suy luận dự kiến sẽ tiếp tục và sẽ là một yếu tố then chốt trong an toàn AGI.
Tác động đến an toàn AI
Vậy phạm vi mở rộng suy luận sẽ ảnh hưởng như thế nào đến an toàn AI? Tóm lại, tiến sĩ Ryan Kidd, nhà nghiên cứu an toàn AI, cho rằng:
- Lịch trình AGI sẽ không thay đổi nhiều, nhưng có thể sớm hơn khoảng một năm.
- Việc triển khai các mô hình tiên phong có thể giảm tác động của việc triển khai quá mức, vì chi phí triển khai sẽ cao hơn khoảng 1.000 lần so với dự kiến, giảm rủi ro từ siêu trí tuệ nhanh chóng hoặc tập thể trong tương lai gần.
- Giám sát chuỗi suy luận (CoT) có thể hữu ích hơn, với điều kiện là cấm CoT phi ngôn ngữ, điều này có lợi cho an toàn AI.
- Các mô hình nhỏ hơn, có chi phí vận hành cao hơn dễ bị lạm dụng hơn, nhưng trừ phi rất giàu có, sẽ khó vận hành, giảm rủi ro từ lời nguyền chủ nghĩa độc tài.
- Khả năng giải thích có thể dễ dàng hơn hoặc khó khăn hơn; vẫn chưa rõ.
- Các mô hình có thể sẽ chấp nhận học tăng cường (RL) nhiều hơn, nhưng chủ yếu sẽ là "dựa trên quy trình", do đó có thể an toàn hơn, với điều kiện là cấm CoT phi ngôn ngữ.
- Kiểm soát xuất khẩu có thể cần điều chỉnh để đối phó với phần cứng suy luận chuyên dụng.
Lịch trình AGI
Việc ra mắt o1 và o3 không ảnh hưởng nhiều đến dự đoán lịch trình AGI.
Dự đoán "AGI mạnh" của Metaculus dường như đã sớm hơ
Vấn đề triển khai
Trong "AI Could Defeat All Of Us Combined", Holden Karnofsky mô tả một mô hình đe dọa rủi ro mơ hồ.
Trong mô hình này, một nhóm các hệ thống AI ở mức độ con người, với tốc độ nhận thức nhanh hơn và khả năng phối hợp tốt hơn, vượt qua con người, chứ không phụ thuộc vào khả năng siêu thông minh định tính.
Tiền đề của kịch bản này là "một khi hệ thống AI ở mức độ con người đầu tiên được tạo ra, những người tạo ra nó có thể sử dụng cùng lượng tính toán cần thiết để chạy hàng triệu bản sao, mỗi bản sao chạy khoảng một năm".
Nếu chi phí vận hành của AGI đầu tiên giống như chi phí của o3-high (khoảng 3.000 USD/nhiệm vụ), tổng chi phí ít nhất là 300 tỷ USD, thì mô hình đe dọa này dường như không đáng tin cậy.
Do đó, Tiến sĩ Ryan Kidd lo ngại ít hơn về "vấn đề triển khai", tức là sau khi tốn kém để huấn luyện, các mô hình ngắn hạn có thể được triển khai với chi phí thấp, tạo ra tác động lớn.
Điều này đã giảm bớt mối lo của ông về "tập thể" hoặc trí tuệ siêu việt "tốc độ cao", và tăng nhẹ sự quan tâm đến trí tuệ siêu việt "định tính", ít nhất là đối với hệ thống AGI thế hệ đầu.
Chuỗi tư duy được giám sát
Nếu nhiều nhận thức hơn của mô hình được nhúng dưới dạng chuỗi tư duy (CoT) có thể giải thích được bởi con người, thay vì kích hoạt bên trong, thì đây có vẻ là tin tốt lành cho an toàn AI thông qua giám sát!
Mặc dù CoT không phải lúc nào cũng chính xác hoặc đúng trong mô tả suy luận của mô hình, nhưng điều này có thể được cải thiện.
Ryan Kidd cũng lạc quan về các thành viên đội đỏ được hỗ trợ bởi LLM, họ có thể ngăn chặn các âm mưu bí mật hoặc ít nhất là giới hạn độ phức tạp của các kế hoạch có thể được thực hiện bí mật, với điều kiện là có các biện pháp kiểm soát AI mạnh mẽ.
Từ góc độ này, mô hình mở rộng tính toán suy luận dường như rất có lợi cho an toàn AI, với điều kiện là có sự giám sát CoT đủ mạnh.
Thunfortunately, các công nghệ như Coconut (Continuous Thought Chains) của Meta có thể sẽ sớm được áp dụng cho các mô hình tiên phong, cho phép suy luận liên tục mà không sử dụng ngôn ngữ làm trạng thái trung gian.
Mặc dù những công nghệ này có thể mang lại lợi ích về hiệu suất, nhưng chúng có thể gây ra những rủi ro lớn cho an toàn AI.
Như Marius Hobbhahn đã nói: "Nếu chúng ta hy sinh CoT có thể đọc được vì một chút cải thiện hiệu suất, thì đó là tự sát".
Tuy nhiên, xét đến việc người dùng không thể nhìn thấy CoT của o1, vẫn chưa chắc chắn liệu có thể biết được khả năng triển khai CoT không dựa trên ngôn ngữ, trừ khi được tiết lộ thông qua các cuộc tấn công đối kháng.
AGI đã đến
Gwern Branwen, nhà văn và nhà nghiên cứu AI người Mỹ, cho rằng Ryan Kidd đã bỏ qua một khía cạnh quan trọng: một trong những mục đích chính của các mô hình như o1 không phải là triển khai chúng, mà là tạo ra dữ liệu huấn luyện cho mô hình tiếp theo.
Mỗi vấn đề mà o1 giải quyết hiện trở thành một điểm dữ liệu huấn luyện cho o3 (ví dụ, bất kỳ ví dụ về một cuộc hội thoại o1 cuối cùng tìm ra câu trả lời đúng đều được sử dụng để huấn luyện trực giác tinh tế hơn).
Điều này có nghĩa là mô hình mở rộng ở đây có thể cuối cùng sẽ trông rất giống với mô hình huấn luyện hiện tại: nhiều trung tâm dữ liệu lớn cố gắng huấn luyện một mô hình tiên phong cuối cùng có trí thông minh cao nhất, và sử dụng nó theo cách tìm kiếm thấp, sau đó chuyển đổi nó thành các mô hình nhỏ hơn và rẻ hơn để sử dụng cho các trường hợp sử dụng tìm kiếm thấp hoặc không tìm kiếm.
Đối với những trung tâm dữ liệu lớn này, tải công việc có thể gần như hoàn toàn liên quan đến tìm kiếm (vì triển khai mô hình rẻ hơn và đơn giản hơn so với tinh chỉnh thực sự), nhưng điều này không quan trọng đối với những người khác; giống như trước đây, những gì họ nhìn thấy cơ bản là sử dụng GPU cao cấp và nhiều điện năng, chờ đợi 3 đến 6 tháng, và cuối cùng xuất hiện một AI thông minh hơn.
OpenAI đã triển khai o1-pro thay vì giữ nó là riêng tư và đầu tư tài nguyên tính toán vào quá trình tự khởi động nhiều o3 hơn.
Gwern Branwen hơi ngạc nhiên về điều này.
Rõ ràng, những điều tương tự cũng đã xảy ra với Anthropic và Claude-3.6-opus - nó không "thất bại", họ chỉ chọn giữ nó là riêng tư và chưng cất nó thành một Claude-3.6-sonnet nhỏ, rẻ nhưng kỳ lạ thông minh.)
OpenAI vượt qua "điểm tới hạn"
Các thành viên của OpenAI đột nhiên trở nên kỳ lạ và thậm chí phấn khích trên Twitter, có lẽ là vì họ đã nhìn thấy sự cải thiện từ mô hình 4o gốc đến o3 (và hiện tại).
Giống như xem AlphaGo leo lên xếp hạng quốc tế trong cờ vây: nó cứ tăng lên... tăng lên... và tăng lên nữa...
Có lẽ họ cảm thấy mình đã "vượt qua" và cuối cùng đã vượt qua điểm tới hạn: từ công việc AI tiên phong đơn thuần, mà hầu hết mọi người sẽ sao chép trong vài năm, sang giai đoạn cất cánh - giải mã được chìa khóa của trí thông minh, để o4 hoặc o5 có thể tự động hóa nghiên cứu AI và hoàn thành phần còn lại.
Vào tháng 11 năm 2024, Altman tuyên bố:
Tôi có thể thấy một con đường mà công việc chúng tôi đang làm sẽ tiếp tục tăng tốc, với những tiến bộ trong ba năm qua sẽ tiếp tục trong ba năm, sáu năm, chín năm hoặc lâu hơn nữa.
Nhưng không lâu sau đó, ông lại thay đổi:
Chúng tôi bây giờ biết chắc chắn cách xây dựng AGI theo nghĩa truyền thống... Chúng tôi bắt đầu vượt qua điều này và hướng tới trí tuệ siêu việt thực sự. Chúng tôi rất thích những gì chúng tôi đang có, nhưng chúng tôi đang hướng tới một tương lai tốt đẹp hơn. Thông qua trí tuệ siêu việt, chúng tôi có thể làm bất cứ điều gì.
Trong khi các phòng thí nghiệm AI khác chỉ có thể ngồi nhìn: khi nghiên cứu trí tuệ siêu việt có thể tự cung cấp, họ không thể có được các thiết bị tính toán lớn cần thiết để cạnh tranh.
Cuối cùng, OpenAI có thể nuốt chửng toàn bộ thị trường AI.
Cuối cùng, các mô hình AlphaGo/Zero không chỉ vượt xa con người, mà còn có chi phí vận hành rất thấp. Chỉ cần tìm kiếm vài bước là đạt được sức mạnh siêu nhân; thậm chí chỉ với truyền tiếp về phía trước, cũng đã gần với mức độ của con người chuyên nghiệp!
Nếu nhìn vào đường cong mở rộng liên quan trong đoạn văn, bạn sẽ thấy lý do rất rõ ràng.
Liên kết tài liệu: https://arxiv.org/pdf/2104.03113
Tiếp tục chưng cất
Tìm kiếm trong suy luận giống như một chất kích thích, có thể tăng điểm số ngay lập tức, nhưng sẽ nhanh chóng đạt đến giới hạn.
Rất nhanh, bạn phải sử dụng các mô hình thông minh hơn để cải thiện chính quá trình tìm kiếm, chứ không phải thực hiện thêm nhiều tìm kiếm.
Nếu chỉ tìm kiếm đơn thuần có hiệu quả như vậy, cờ vua đã được giải quyết vào những năm 1960.
Thực tế, phải đến tháng 5 năm 1997, máy tính mới đánh bại vô địch cờ vua thế giới, nhưng vượt qua tốc độ tìm kiếm của các kiện tướng cờ vua không phải là điều khó khăn.
Nếu bạn chỉ muốn có một văn bản "Xin chào thế giới", một nhóm khỉ gõ máy chữ có thể đủ; nhưng nếu bạn muốn có toàn bộ văn bản "Hamlet" trước khi vũ trụ bị phá hủy, bạn nên bắt đầu nhân bản Shakespeare ngay bây giờ.
May mắn thay, nếu bạn có dữ liệu huấn luyện và mô hình cần thiết, bạn có thể sử dụng chúng để tạo ra một mô hình thông minh hơn: thông minh đến mức có thể tạo ra những tác phẩm sánh ngang hoặc vượt xa Shakespeare.
Vào ngày 20 tháng 12 năm 2024, Oterman nhấn mạnh:
Trong tiếng ồn ngày nay, có vẻ như một số tin tức đã bị bỏ qua:
Trong các nhiệm vụ lập trình, o3-mini sẽ vượt qua hiệu suất của o1, và với chi phí thấp hơn nhiều!
Tôi dự
https://x.com/slow_developer/status/1879952568614547901
https://x.com/kimmonismus/status/1879961110507581839
https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/implications-of-the-inference-scaling-paradigm-for-ai-safety
https://x.com/jeremyphoward/status/1879691404232015942
Bài viết này được chia sẻ từ trang WeChat "Xin Zhi Yuan", tác giả: Aeneas KingHZ, được 36Kr ủy quyền đăng tải.
