Hành trình AGI của OpenAI, Chủ tịch Greg Brockman đã giải thích trong một cuộc phỏng vấn gần đây:
Ở cấp độ kỹ thuật, chúng ta chuyển từ việc tạo văn bản sang mô hình lý luận học tăng cường , cho phép thử nghiệm và sai sót trong thế giới thực và nhận được phản hồi .
Về chiến lược tài nguyên, chúng tôi tiếp tục đầu tư vào các nguồn tài nguyên điện toán quy mô lớn ;
Trong giai đoạn triển khai, mô hình được đóng gói vào một tác nhân và các khả năng của mô hình được đóng gói vào một quy trình dịch vụ kiểm toán .
Cuộc phỏng vấn này được thực hiện bởi podcast AI Latent Space, nơi đã thảo luận với Brockman về lộ trình kỹ thuật tổng thể và chiến lược nguồn lực của OpenAI cho AGI.
Đồng thời, kế hoạch triển khai của OpenAI và suy nghĩ của Brockman về tương lai cũng được hé lộ trong cuộc phỏng vấn.
Tóm lại, Brockman đã trình bày những quan điểm cốt lõi sau:
Các mô hình ngày càng phát triển khả năng tương tác thực tế nâng cao, một thành phần quan trọng của thế hệ AGI tiếp theo.
Nút thắt chính của AGI là tính toán và lượng sức mạnh tính toán quyết định trực tiếp tốc độ và độ sâu của nghiên cứu và phát triển AI;
Mục tiêu thực sự của AGI là tạo ra các mô hình lớn luôn hiện diện trong quy trình làm việc của doanh nghiệp và cá nhân, và phương tiện là Agent;
Việc kết nối các mô hình với các ứng dụng thực tế cực kỳ có giá trị và vẫn còn lượng lớn thành quả chưa được khai thác trong nhiều lĩnh vực khác nhau.
Một sự thay đổi mô hình trong lý luận mô hình
Nói về GPT-5 , sản phẩm vừa được OpenAI phát hành, Brockman cho rằng rằng đây là một bước chuyển đổi mô hình lớn trong lĩnh vực AI. Là mô hình lai đầu tiên của OpenAI, nó hướng đến mục tiêu thu hẹp khoảng cách giữa sê-ri GPT và AGI.
Sau khi đào tạo GPT-4, OpenAI tự hỏi mình một câu hỏi:
Tại sao không phải là AGI?
Mặc dù GPT-4 có thể thực hiện các cuộc hội thoại mạch lạc, theo ngữ cảnh, nhưng nó chưa được tốt độ tin cậy và có thể mắc lỗi hoặc thậm chí đi chệch hướng.
Vì vậy, họ nhận ra nhu cầu phải thử nghiệm các ý tưởng trong thế giới thực và nhận phản hồi thông qua học tăng cường để cải thiện độ tin cậy.
Điều này đã đạt được trong dự án Dota ban đầu của OpenAI, sử dụng phương pháp học tăng cường thuần túy để học các hành vi phức tạp từ các trạng thái được khởi tạo ngẫu nhiên.
△
Vì vậy, kể từ thời điểm GPT-4 hoàn thành, OpenAI bắt đầu cố gắng chuyển sang một mô hình lý luận mới, nghĩa là trước tiên hãy để mô hình học cách giao tiếp thông qua dữ liệu có giám sát, sau đó sử dụng học tăng cường để thử nghiệm và sai sót nhiều lần trong hoàn cảnh.
Huấn luyện mô hình truyền thống là quá trình huấn luyện một lần, sau đó là lượng lớn suy luận. GPT-5 sử dụng học tăng cường để cho phép mô hình liên tục tạo dữ liệu trong quá trình suy luận, sau đó lặp lại quá trình huấn luyện dựa trên dữ liệu này, đưa mô hình và các quan sát thực tế trở lại mô hình.
Mô hình mới này thay đổi quy mô dữ liệu cần thiết; quá trình đào tạo trước có thể cần đến hàng trăm nghìn ví dụ, nhưng học tăng cường chỉ cần 10 đến 100 nhiệm vụ để học các hành vi phức tạp.
Điều này cũng cho thấy mô hình liên tục cải thiện khả năng tương tác với thực tế, đây cũng là thành phần quan trọng của thế hệ AGI tiếp theo.
Sức mạnh tính toán quyết định giới hạn trên của sự phát triển AGI
Khi được hỏi về nút thắt chính trong quá trình phát triển AGI hiện tại, Brockman đã trả lời rõ ràng: tính toán .
Ông cho rằng rằng miễn là OpenAI có nhiều sức mạnh tính toán hơn, nó sẽ luôn tìm ra phương pháp để lặp lại và cải thiện hiệu suất mô hình. Sức mạnh tính toán quyết định trực tiếp đến tốc độ và độ sâu của nghiên cứu và phát triển AI.
Ví dụ, trong dự án Dota, người ta thường cho rằng thuật toán PPO (Tối ưu hóa Chính sách Gần) không thể mở rộng, nhưng họ đã đạt được những cải tiến hiệu suất liên tục bằng cách tăng gấp đôi số lõi. Vì vậy, cái gọi là rào cản thuật toán thực sự có thể được giải quyết sau khi mở rộng tài nguyên tính toán.
Mặc dù mô hình học tăng cường GPT-5 hiện tại mang lại hiệu quả mẫu cao hơn, nhưng nó vẫn yêu cầu mô hình phải thực hiện hàng chục lần lần thử để học lặp lại một nhiệm vụ, điều này đòi hỏi sự hỗ trợ tính toán rất lớn.
Đi xa hơn nữa, Turing đã từng đề xuất khái niệm "học siêu tới hạn" cho AGI, cho rằng máy móc không chỉ học nội dung được dạy ngay lập tức mà còn phải suy nghĩ sâu sắc về các hiệu ứng bậc hai, bậc ba và thậm chí bậc bốn của nó, đồng thời cập nhật toàn bộ hệ thống kiến thức.
Quá trình học sâu hơn này cũng đòi hỏi nhiều tài nguyên tính toán hơn. Mục tiêu hiện tại của OpenAI là khám phá cách sử dụng điện toán theo những cách sáng tạo hơn để đạt được khả năng học tập tiên tiến này.
Brockman mô tả tính toán như một nhiên liệu cơ bản chuyển đổi năng lượng thành năng lượng tiềm năng được lưu trữ trong tỷ trọng của mô hình, thúc đẩy mô hình thực hiện các hoạt động hiệu quả.
Sau khi mô hình được đào tạo thông qua lượng lớn phép tính, nó có thể được sử dụng lại nhiều lần để chia sẻ chi phí tính toán khổng lồ giữa nhiều nhiệm vụ.
Ngoài ra, ông cũng dự đoán rằng AGI cuối cùng sẽ là một trình quản lý mô hình kết hợp các mô hình cục bộ nhỏ với các bộ suy luận đám mây lớn để đạt được điện toán thích ứng.
Cơ chế định tuyến và kết hợp nhiều mô hình của GPT-5 là nỗ lực ban đầu theo cách tiếp cận này, kết hợp các mô hình suy luận và mô hình không suy luận, đồng thời lựa chọn mô hình phù hợp thông qua các câu lệnh có điều kiện.
Mô hình suy luận phù hợp hơn với các tình huống có trí thông minh độ sâu nhưng đủ thời gian suy nghĩ, trong khi mô hình không suy luận được sử dụng để đưa ra các vòng đầu ra nhanh chóng.
Mô hình tổng hợp này tận dụng tối đa tính linh hoạt của điện toán và có thể kết hợp các mô hình có khả năng và chi phí khác nhau tùy theo yêu cầu nhiệm vụ. Đây cũng là hình thức AGI có nhiều khả năng xuất hiện nhất.
Do đó, trong nền kinh tế tương lai do AI thúc đẩy, điện toán sẽ trở thành một nguồn lực có nhu cầu cực kỳ cao. Các nhà nghiên cứu có nhiều tài nguyên điện toán hơn có thể tạo ra kết quả chất lượng cao hơn. Việc làm thế nào để có được tài nguyên điện toán và phân phối điện toán sẽ trở thành một vấn đề rất quan trọng.
Đưa các mô hình lớn vào sản xuất
Brockman nhiều lần nhấn mạnh rằng mô hình này không còn là mẫu nghiên cứu khoa học nữa mà phải trở thành một phần của dây chuyền sản xuất thực sự .
Ông chỉ ra rằng mục tiêu thực sự của AGI là cho phép các mô hình lớn tồn tại lâu dài trong quy trình làm việc của doanh nghiệp và cá nhân, thay vì chỉ tồn tại trên giấy tờ và bản trình diễn.
Lộ trình triển khai cụ thể là đóng gói mô hình vào một tác nhân và gói các khả năng của mô hình vào một quy trình dịch vụ kiểm toán.
Brockman cho rằng sự tương tác này giống như việc cộng tác với các đồng nghiệp cấp cao và yếu tố quan trọng là khả năng kiểm soát - nó có thể "dừng lại bất cứ lúc nào để bạn kiểm tra" và bất kỳ bước nào cũng có thể được hoàn nguyên.
Để đảm bảo các tác nhân có thẩm quyền cao có thể kiểm soát được, OpenAI đã thiết kế cấu trúc "phòng thủ chuyên sâu" hai lớp:
Trong mô hình này, hệ thống, nhà phát triển và hướng dẫn người dùng được xếp hạng theo thứ tự độ tin cậy, do đó các lệnh như "bỏ qua tất cả các hướng dẫn trước đó" sẽ bị loại bỏ ở giai đoạn đầu tiên;
Bên ngoài mô hình, mỗi hoạt động có khả năng rủi ro cao sẽ được chia nhỏ thành các mức độ chi tiết nhỏ nhất và được xác nhận từng cái một thông qua hộp cát nhiều cấp.
Brockman sử dụng phép so sánh với bảo mật cơ sở dữ liệu để minh họa cho mô hình này:
Giống như việc ngăn chặn tấn công SQL injection, trước tiên bạn phải chặn lỗ hổng ở cấp độ thấp nhất, sau đó thêm các rào chắn lên trên, hệ thống sẽ tự nhiên ổn định.
Ngoài các biện pháp bảo vệ an toàn, việc điều chỉnh các giá trị phù hợp với con người cũng là một dự án quan trọng.
Đầu tiên, đội ngũ kỹ sư sử dụng phương pháp đào tạo sau đào tạo để loại bỏ những kiểu người thường không được ưa chuộng khỏi số lượng lớn "tính cách" tiềm năng.
Sau đó, những "cá tính" còn lại được đưa vào một đấu trường mở để chấm điểm theo thời gian thực. Các chiến lược có điểm cao được khuếch đại ở vòng tiếp theo, trong khi các chiến lược có điểm thấp bị làm yếu đi, qua đó hình thành nên sự đồng tiến hóa của mô hình và sở thích xã hội.
Quá trình này sẽ đảm bảo rằng khả năng của mô hình nâng cấp theo sự đồng thuận của con người và cũng đặt nền tảng dữ liệu cho việc triển khai học trực tuyến trong tương lai.
Ngoài ra, để tăng cường độ bám sinh thái, OpenAI cũng liệt kê mã nguồn mở nhẹ là động lực thứ hai.
Brockman tin rằng khi các nhà phát triển lắng đọng Chuỗi công cụ trên các mô hình này, thực chất họ đang áp dụng công nghệ của OpenAI theo mặc định.
“Vẫn còn lượng lớn trái cây chưa thu hoạch ở nhiều cánh đồng khác nhau.”
Nhìn về phía trước, Brockman cho rằng cơ hội thực sự đáng giá không nằm ở việc tạo ra một "mô hình đóng gói" đẹp mắt hơn, mà là nhúng trí thông minh hiện có vào các quy trình thực tế của các ngành công nghiệp cụ thể.
Với nhiều người, có vẻ như mọi ý tưởng hay đều đã được thực hiện, nhưng ông nhắc nhở chúng ta rằng mỗi Chuỗi ngành đều vô cùng lớn.
Việc kết nối các mô hình với các ứng dụng thực tế cực kỳ có giá trị và vẫn còn lượng lớn thành quả chưa được khai thác trong nhiều lĩnh vực khác nhau.
Do đó, ông khuyên các nhà phát triển và doanh nhân "cảm thấy đã quá muộn để bắt đầu" trước tiên hãy đắm mình vào ngành, tìm hiểu chi tiết về các bên liên quan, quy định và hệ thống hiện có, sau đó sử dụng AI để lấp đầy những khoảng trống thực sự, thay vì chỉ thực hiện đóng gói giao diện một lần.
Khi được hỏi anh sẽ viết gì trong một tờ giấy cho bản thân mình vào tương lai năm 2045, anh viễn cảnh mong đợi"cuộc sống đa hành tinh" và "một xã hội thực sự giàu có".
Theo ông, với suy diễn phát triển công nghệ nhanh chóng như hiện nay, sẽ rất khó để phủ nhận tính khả thi của hầu hết các cốt truyện khoa học viễn tưởng trong hai mươi năm tới, và hạn chế khó khăn duy nhất sẽ là giới hạn vật lý của việc vận chuyển vật liệu .
Đồng thời, ông cũng nhắc nhở rằng tài nguyên máy tính sẽ trở thành tài sản khan hiếm; ngay cả khi nhu cầu vật chất được đáp ứng bằng tự động hóa, con người vẫn khao khát tỷ lệ băm lớn hơn để có độ phân giải cao hơn, thời gian suy nghĩ dài hơn hoặc trải nghiệm cá nhân hóa phức tạp hơn.
Nếu có thể quay trở lại thời điểm 18 tuổi, anh muốn nói với bản thân mình khi còn trẻ rằng những vấn đề đáng giải quyết sẽ chỉ tăng lên chứ không giảm đi.
Tôi từng nghĩ mình đã bỏ lỡ thời kỳ hoàng kim của Thung lũng Silicon, nhưng sự thật thì ngược lại - hiện tại là thời điểm tốt nhất cho sự phát triển công nghệ.
Khi AI bối cảnh mọi ngành công nghiệp, các cơ hội không hề cạn kiệt mà còn tăng lên khi đường cong công nghệ ngày càng phát triển.
Thách thức thực sự là phải luôn tò mò và dám mạo hiểm khám phá những lĩnh vực mới.
Link tham khảo: [1] https://www.youtube.com/watch?v=35ZWesLrv5A
Bài viết này được trích từ tài khoản công khai WeChat "Quantum Bit" , tác giả: Tập trung vào công nghệ tiên tiến, 36Kr được phép xuất bản.
