Văn bản |
Biên tập viên Lưu Kinh
Cách đây vài tháng, một bức ảnh nội bộ của OpenAI đã được lan truyền trên Internet. Trong hình, OpenAI chia con đường đến với AGI thành 5 giai đoạn:
Cấp độ 1: Robot trò chuyện, AI có khả năng đàm thoại.
Cấp độ 2: Người suy luận, AI có thể giải quyết vấn đề như con người.
Cấp độ 3: Đặc vụ, một hệ thống AI không chỉ có thể suy nghĩ mà còn có thể hành động.
Cấp độ 4: Người đổi mới, AI có thể hỗ trợ phát minh và sáng tạo.
Cấp độ 5: Người tổ chức, một AI có thể hoàn thành công việc tổ chức.
Sơ đồ mạch rất đẹp, nhưng hiện tại chúng tôi chủ yếu bị kẹt ở L1. Ví dụ rõ ràng nhất là việc thiếu khả năng suy luận khiến các mô hình lớn thậm chí không thể trả lời được câu hỏi “Ai lớn hơn, 9,8 hay 9,11?” Điều này là do kiến trúc Transformer chỉ có thể đưa ra câu trả lời phù hợp bằng cách tìm kiếm lượng dữ liệu khổng lồ và không thể trả lời các câu hỏi hoặc thực hiện lý luận như con người. Vì nó không thể thực hiện lý luận nhiều bước nên tác nhân AI của bạn không thể tạo kế hoạch chỉ bằng một cú nhấp chuột và nhiều kịch bản ứng dụng AI vẫn còn rất xa.
Transfomer từng được coi là nhà cách mạng trong ngành AI cũng không thể thoát khỏi thời điểm bị cách mạng hóa. Và Crown là một trong những nhà cách mạng. Thay vì sử dụng các giải pháp RL để phát huy tiềm năng của LLM, Wang Guan đã chọn trực tiếp tạo ra một mô hình lớn RL tổng quát, từ đó bỏ qua những hạn chế về mặt lý thuyết của LLM, điều này cũng phù hợp hơn với cơ chế hoạt động thực tế của tư duy nhanh và tư duy chậm. .
Sau một thời gian chờ đợi tại địa điểm đã hẹn, chàng sinh viên tốt nghiệp Thanh Hoa sinh năm 2000 này mới vội vã đi học về. Anh ấy gầy gò, mặc bộ đồ thể thao đơn giản và đeo ba lô, trông như một bậc thầy khoa học có thể được nhìn thấy ở khắp mọi nơi trong trường.
Cũng giống như thiên tài Geeks trong "The Big Bang Theory", những người không rành về kỹ thuật sẽ đặc biệt khó giao tiếp với Wang Guan, bởi vì anh ta sẽ sử dụng những từ ngữ chuyên nghiệp một cách khiêm tốn, vắt óc và cố gắng giải thích đơn giản nhưng vô ích. . Đối với một số câu hỏi kỹ thuật, đôi khi anh không thể trả lời ngay được, anh phải im lặng rất lâu, sau một khoảng im lặng lúng túng, anh mới có thể sắp xếp được những gì anh cho rằng ngôn ngữ chính xác. Khi nói về kiến thức chuyên môn của mình, anh ấy sẽ nói một cách hào hứng, có lúc còn quên cả thở, phải ngẩng đầu lên hít một hơi thật dài, nhất thời đột nhiên cảm thấy ngột ngạt.
Nhưng chính một người như vậy đã đặt tên cho kiến trúc mới là ông đã phát triển Trí thông minh Sapient. Cái tên này được dịch là "Homo sapiens", thể hiện tham vọng của anh ấy.
Hiện tại, mặc dù thế giới NLP vẫn bị Transformer thống trị nhưng ngày càng có nhiều kiến trúc mới xuất hiện và hướng tới L2. Ví dụ, kiến trúc lai TransNAR được Deepmind đề xuất về mặt lý thuyết trong năm nay, Sakana.AI mới được thành lập bởi Llion Jones, một trong tám tác giả của Transformer, RWKV của Bloomberg và thậm chí cả OpenAI cũng đã phát hành một mô hình mới có tên là "Dâu tây", nói rằng nó có kỹ năng Lý luận.
Những hạn chế của Transformer dần dần được chứng minh và chưa có giải pháp nào cho các vấn đề như ảo ảnh và độ chính xác. Nguồn vốn bắt đầu đổ vào các kiến trúc mới này một cách ngập ngừng.
Người đồng sáng lập Sapient, Austin nói với "Undercurrent Waves": Sapient hiện đã hoàn thành hàng chục triệu đô la trong vòng tài trợ hạt giống này được dẫn dắt bởi Vertex Ventures của Temasek Holdings của Singapore, tập đoàn đầu tư mạo hiểm lớn nhất Nhật Bản, người đứng đầu Châu Âu và Châu Âu. Hoa Kỳ cùng các VC cùng đầu tư. Vòng tài trợ này sẽ chủ yếu được sử dụng để tỷ lệ băm và tuyển dụng nhân tài toàn cầu với vai trò là cố vấn tài chính độc quyền dài hạn.
Ở Sapient, bạn có thể thấy con đường điển hình của một công ty khởi nghiệp AI Trung Quốc: Người sáng lập và Ngày thứ nhất người Trung Quốc nhắm mục tiêu vào thị trường toàn cầu, tuyển dụng các tài năng thuật toán toàn cầu và cũng tìm kiếm sự hỗ trợ từ các quỹ quốc tế. Nhưng mặt không điển hình của nó cũng rất nổi bật: So với nhiều công ty ứng dụng hơn, đây là một công ty đang cố gắng cạnh tranh với những công ty khác về công nghệ.
Crown (trái) và Austin (phải)
"SÓNG" là một cột của Dòng chảy ngầm. Tại đây, chúng tôi sẽ giới thiệu với bạn những câu chuyện và tinh thần của thế hệ doanh nhân và nhà đầu tư mới.
GPT không thể dẫn đến AGI?
Sự lặp lại của công nghệ nhanh đến mức tàn nhẫn.
Không lâu sau khi cơn sốt mô hình ngôn ngữ lớn bắt đầu, người đoạt giải Turing và "Bố già AI" Yann LeCun đã công khai cảnh báo những sinh viên trẻ muốn bước chân vào ngành AI: "Hãy ngừng học LLM, bạn nên học cách đột phá. Những hạn chế của LLM .”
Lý do là khả năng suy luận của con người có thể được chia thành hai hệ thống. Hệ thống 1 nhanh và vô thức, phù hợp để xử lý các công việc đơn giản, chẳng hạn như hôm nay ăn gì? Hệ thống 2 là nhiệm vụ có thể được hoàn thành thông qua tư duy, chẳng hạn như giải một bài toán phức tạp. LLM không thể hoàn thành nhiệm vụ của Hệ thống 2 và luật mở rộng quy mô không thể giải quyết được vấn đề này vì đây là hạn chế của kiến trúc cơ bản.
"Mô hình lớn hiện tại giống với việc ghi nhớ các câu hỏi hơn." Wang Guan giải thích với "Sóng ngầm": "Một quan điểm cho rằng rằng mô hình lớn hiện tại sử dụng Hệ thống 1 để giải quyết các vấn đề của Hệ thống 2 và bị mắc kẹt trong Hệ thống 1.5, tương tự như Con người. trong trạng thái mơ, điều này tạo ra ảo giác. Mô hình tự hồi quy hạn chế bạn chỉ xuất ra dựa trên mã thông báo này sau khi xuất mã thông báo "Tự hồi quy không giỏi ghi nhớ và lập kế hoạch trả lời, chưa nói đến việc thực hiện thêm lý luận nhiều bước. .
Những hạn chế của mô hình lớn này cũng có thể được hiểu ở góc độ triết học hơn: tức là khi tính toán câu hỏi “Ai lớn hơn, 9,9 hay 9,11?”, liệu mô hình lớn có thực sự hiểu nó đang làm gì không? Hay nó so sánh một cách máy móc 9 và 11 sau dấu thập phân? Nếu mô hình không biết nó đang làm gì thì việc đào tạo sẽ không vô ích.
Do đó, nếu AI muốn bước vào giai đoạn L2, nó chỉ có thể từ bỏ hoàn toàn kiến trúc Transformer tự hồi quy. Theo quan điểm của Wang Guan, điều Sapient cần làm là đạt được khả năng suy luận của AI bằng cách bắt chước bộ não con người.
Lý thuyết mô hình thế giới của Yann LeCun
"Trong Phòng thí nghiệm Trí tuệ và Trí tuệ Tsinghua, tôi sẽ thực hiện những tiến bộ song phương dựa trên kiến thức của tôi về khoa học thần kinh và sự hiểu biết về Hệ thống 2. Ví dụ, đối với cùng một vấn đề, trước tiên tôi biết bộ não con người giải quyết vấn đề như thế nào, sau đó xem xét cách giải quyết vấn đề đó." giải quyết nó. Sử dụng AI để tái tạo nó", Wang Guan nói với "Undercurrent Waves".
Ông tiếp tục tiết lộ rằng cơ sở hạ tầng của Sapient hiện đã hoàn thành việc xác minh toán học. Đây sẽ là một mô hình không tự hồi quy hiếm hoi với khả năng tính toán nhiều bước, bộ nhớ và tìm kiếm cây. Về mặt mở rộng quy mô, đội ngũ cũng đã thực hiện những nỗ lực sơ bộ bằng cách kết hợp các thuật toán tiến hóa và học tăng cường.
Logic làm việc vòng lặp phân cấp của bộ não động vật
Dựa trên sự mong đợi của mọi người đối với AGI, có lẽ hiện tại chỉ có con người mới có thể đáp ứng được các tiêu chuẩn của nó. Do đó, việc lặp lại mô hình lớn theo hướng của bộ não con người là hướng mà Sapient đang cố gắng phát triển.
Những người từ chối Musk
Nếu bạn đã xem "Young Sheldon", thì câu chuyện của The Crown hẳn sẽ cảm thấy quen thuộc: chúng cũng kể về một thiên tài xuất hiện khi còn là một thiếu niên, và họ cũng bị ám ảnh không kém bởi con đường mà anh ấy tin tưởng.
Wang Guan sinh năm 2000 tại Hà Nam và bắt đầu học lập trình từ năm 8 tuổi. Khi tôi còn học trung học, GPT2 đã được phát hành, nó không chỉ Sự lật đổ nhiều lý thuyết về độ sâu learning vào thời điểm đó mà còn Sự lật đổ thế giới quan của Wang Guan: nếu văn bản do một mô hình tạo ra có thể giống con người, điều đó có nghĩa là AI sẽ vượt qua bài kiểm tra Turing? Dựa vào đó, có lẽ Ngài có thể tạo ra một thuật toán để giải quyết mọi vấn đề trên thế giới.
Sau đó anh biết được rằng thuật toán như vậy được gọi là "AGI".
Trong thế giới học sinh trung học lúc bấy giờ, những thuật toán như vậy có thể loại bỏ được chiến tranh, nạn đói, nghèo đói. Tất nhiên, điều cấp bách nhất là loại bỏ kỳ thi tuyển sinh đại học. Việc kiểm tra đầu vào nên được giao cho robot."
Điều này cũng liên quan đến độ khó khủng khiếp của kỳ thi tuyển sinh đại học Hà Nam. Wang Guan quyết định đi theo con đường được đề xuất. Anh ấy đã tham gia các cuộc thi thuật toán và tin học, bao gồm cả phiên bản trung học của cuộc thi robomaster DJI, nơi anh ấy đã giành chức vô địch bằng cách thêm một thuật toán hoàn toàn tự động vào robot. Cuối cùng, anh được tiến cử vào Trường Khoa học Máy tính Thanh Hoa. Ngày đầu tiên nhập học, trường đã tổ chức một cuộc mít tinh vận động trên bục giảng, vận động mọi người học tốt môn toán. lớp năm nay đạt điểm GPA môn Toán cao nhất.
"GPA có tác dụng gì với AGI?" Wang Guan nghĩ. Sau đó, anh chuyển đến Viện nghiên cứu hàng không Tsinghua để nghiên cứu học tăng cường, sau đó gia nhập Phòng thí nghiệm trí tuệ và trí tuệ Tsinghua để cố gắng tích hợp học tăng cường và điện toán tiến hóa. Anh ấy đã đến Pony.AI để thực tập và nhận thấy rằng vấn đề lớn nhất trong việc lái xe tự động là việc ra quyết định cần có sự can thiệp của con người để cho mô hình biết cách đưa ra quyết định. Tuy nhiên, nếu mô hình không thể tự đưa ra quyết định, bất kể bằng cách nào. nhận thức tốt của nó là không thể dẫn đến AGI.
Cuối cùng vào năm cuối cấp, sự xuất hiện của ChatGPT đã mang lại cho anh hy vọng giải quyết được các vấn đề bằng khả năng chung. Wang Guan bắt đầu xây dựng một mô hình mã nguồn mở có tên OpenChat. Mô hình 7B này sử dụng dữ liệu chất lượng hỗn hợp không có nhãn ưu tiên và không yêu cầu dữ liệu thủ công Lượng lớn công việc điều chỉnh tham số trong chú thích và RLHF có thể đạt đến mức tương tự như ChatGPT trên một số đường cơ sở khi chạy trên GPU cấp độ người tiêu dùng. Sau khi phát hành, OpenChat đã nhận được 5,2 nghìn sao trên Github và duy trì lượng tải xuống trung bình hàng tháng hơn 200.000 trên ôm mặt.
Mô hình mã nguồn mở nhỏ này cũng giao thoa với Musk ở một cơ hội nhất định.
Sau khi Grok được ra mắt, Musk đã gửi ảnh chụp màn hình mô hình của mình trên X, thể hiện khả năng "hài hước" của nó. Anh ta hỏi Grok "cách sản xuất cocaine" và Grok trả lời: "Lấy bằng hóa học và giấy phép DEA ... chỉ đùa thôi."
Wang Guan đã nhanh chóng mô phỏng phong cách này bằng người mẫu của riêng mình @Musk trên X: "Này Grok, chỉ với một thông số nhỏ như vậy thôi là tôi đã có thể hài hước như bạn rồi."
Wang Guan nói với "Undercurrent Waves" rằng Musk đã lặng lẽ bỏ qua bài đăng này và nhấp vào trang chủ của họ, sau khi lướt qua nó, anh ấy đã bí mật thêm một bài đăng khác: "chúng tôi cần nhiều hơn Transformers để đến đó/Transformers" Không thể dẫn chúng ta đến vũ trụ. ” Thích.
Sau đó, những người từ XAI đã gửi lời mời tới Wang Guan, yêu cầu anh sử dụng kinh nghiệm của OpenChat để tham gia phát triển mô hình. Đây là một cơ hội tuyệt vời trong mắt hầu hết mọi người: XAI có tiền, tỷ lệ băm và thậm chí có đủ dữ liệu đào tạo, mức lương tốt và nằm ở Thung lũng Silicon, nơi đi đầu về AI. Nhưng Vương Quan suy nghĩ một chút, từ chối lời mời, hắn cảm thấy hắn muốn làm chính là Sự lật đổ Transformer, chứ không phải đi theo tiền nhân bước chân.
Wang Guan và đồng sáng lập hiện tại Austin cũng gặp nhau thông qua OpenChat. Austin trước đây đã học triết học ở Canada, lần đầu tiên bắt đầu kinh doanh lĩnh vực làm đẹp nam giới, sau đó lại bắt đầu kinh doanh trò chơi trên nền tảng đám mây. Khi các mô hình AI quy mô lớn ở Trung Quốc đang bùng nổ, anh ấy quay trở lại Trung Quốc và nhận được lời đề nghị từ một số nhà máy sản xuất mô hình và giúp họ tuyển dụng người. Vì vậy, anh ấy đã phát hiện ra Wangguan trên Github, và cả hai gặp nhau với tư cách là cư dân mạng và thành công ngay lập tức.
Mặc dù lý lịch bối cảnh của họ rất khác nhau nhưng cả hai đều có một điểm chung, đó là khi họ hình dung về một xã hội tương lai nơi AGI được hiện thực hóa: đó là một điều không tưởng, nơi con người có nhiều tự do hơn và nơi có nhiều vấn đề ở hiện tại. thế giới có thể được giải quyết.
Tương lai của Sapient
Là một sinh viên tốt nghiệp Thanh Hoa chọn khởi nghiệp với tư cách là người mẫu cơ sở, chúng tôi chắc chắn đã nói về Yang Zhilin. Ý tưởng của Vương Quan vẫn nhất quán: thay vì tiếp tục làm Transformer, tốt hơn hết là mở ra một con đường mới. Giống như thần tượng doanh nhân của anh ấy, Llion Jones.
Llion Jones là một trong tám tác giả của Transformer và là người đồng sáng lập Sakana.Ai. Những gì ông đã làm trên Sakana là Sự lật đổ hoàn toàn lộ trình kỹ thuật của Transformer và chọn đặt mô hình cơ bản của mình dựa trên một loại "trí thông minh được truyền cảm hứng tự nhiên".
Cái tên Sakana xuất phát từ từ tiếng Nhật さかな, có nghĩa là "cá" và có nghĩa là "mang một nhóm cá lại với nhau để tạo thành một thực thể mạch lạc từ những quy tắc đơn giản". Mặc dù Sakana hiện chưa có bất kỳ sản phẩm hoàn chỉnh nào nhưng họ đã hoàn thành vòng tài trợ ban đầu trị giá 30 triệu USD và vòng tài trợ loạt A trị giá 100 triệu USD chỉ trong sáu tháng.
Kể từ làn sóng AI, chúng ta có thể thấy rằng sự nhiệt tình của vốn đối với các ứng dụng AI đã chậm lại. Về đầu tư vào các mô hình AI, Austin nói với “Undercurrent Waves” rằng có hai loại nhà đầu tư trong nước mà anh ấy nhìn thấy. Một là đầu tư sau khi tham gia. "Sáu chú hổ con", tôi ngừng xem, trong khi loại còn lại bắt đầu dần dần khám phá những khả năng ngoài Transformer.
Là người “lần đầu tiên” nên việc có được vốn khởi nghiệp không phải là điều dễ dàng. Đối diện các nhà đầu tư, Sapient trước tiên cần giải thích ba vấn đề trước khi mô tả những ưu điểm trong lộ trình kỹ thuật và viễn cảnh mong đợi kinh doanh của mình. Thứ nhất là những khuyết điểm của GPT, bao gồm lý luận đơn giản không ổn định, không có khả năng giải quyết các vấn đề phức tạp và ảo giác. Thứ hai là các kịch bản ứng dụng AI hiện tại rất tốt nhưng công nghệ không thể thích ứng với nhu cầu. Chẳng hạn, tỷ lệ chính xác 13% của Devin khiến không thể đạt được hiệu quả như mong muốn. Thứ ba là thời nút hiện tại. Thị trường đặt kỳ vọng vào tương lai của AI và cơ sở hạ tầng như cụm tỷ lệ băm đã hoàn thiện.
Ngay cả với nguồn vốn khởi nghiệp ban đầu, Sapient vẫn phải đối mặt với những thách thức trong tuyển dụng nhân tài. Cuộc cạnh tranh giành nhân tài AI trong giới công nghệ Thung lũng Silicon đã đạt đến mức gần như điên cuồng. Trước đây, Zuckerberg đã đích thân viết thư cho các nhà nghiên cứu DeepMind, mời họ chuyển việc và gia nhập Meta; sau đó, đích thân đồng sáng lập Google, Sergey Brin, đã gọi điện để thảo luận về việc tăng lương và phúc lợi, chỉ để giữ chân một nhân viên sắp rời đi. tới OpenAI. Ngoài sự chân thành hoàn toàn, tỷ lệ băm được hỗ trợ đầy đủ và sự cám dỗ của mức lương cao cũng là những điều kiện cần thiết.
Dữ liệu cho thấy tổng số tiền bồi thường số trung vị của OpenAI (bao gồm cả cổ phiếu) đã đạt 925.000 USD. Austin nói với "Undercurrent Waves" rằng các thành viên cốt lõi của Sapient bao gồm nhiều nhà nghiên cứu từ Deepmind, Google, Microsoft và Anthropic. Những tài năng này đến từ khắp nơi trên thế giới đã lãnh đạo hoặc tham gia vào nhiều mô hình và sản phẩm có tiếng, bao gồm AlphaGo, Gemini, Microsoft Copilot, v.v. Khả năng tổ chức đội ngũ đa dạng và toàn cầu cũng là một trong những thế mạnh cốt lõi của Sapient.
Nhưng đối với đội ngũ muốn thách thức GPT, khó khăn còn hơn thế rất nhiều. Sapient vẫn phải đứng trước sự lựa chọn của thị trường thương mại. Sapient triển khai những nỗ lực chính của mình tại thị trường nước ngoài, đặc biệt là Hoa Kỳ và Nhật Bản. Không cần đi sâu vào chi tiết lý do chọn Hoa Kỳ, nhưng thị trường Nhật Bản cũng có những lợi thế cốt lõi, chẳng hạn, mặc dù thị trường AI Bắc Mỹ đang sôi động nhưng sự cạnh tranh trên thị trường phần mềm AI tổng quát, đặc biệt là. quá khốc liệt. Nếu so sánh, Nhật Bản cũng có cơ sở hạ tầng hoàn chỉnh và nhân tài chất lượng cao, và dữ liệu đào tạo mô hình xung quanh nền văn hóa phi phương Tây có thể là chất xúc tác cho bước đột phá công nghệ tiếp theo.
Wang Guan vẫn đang tập trung phát triển Sapient của mình. Vòng tròn bạn bè của anh ấy trống rỗng. Hình đại diện của anh ấy là một khuôn khổ học độ sâu, mờ ảo như hình minh họa trong sách giáo khoa. " : Đây là dự án OpenAI được đồn đại tập trung vào phát triển khả năng suy luận logic và toán học cho AI.
Wang Guan và đội ngũ của anh ấy đang nỗ lực hướng tới cột mốc tiếp theo: phát hành kiến trúc mô hình mới này và tiến hành các tiêu chuẩn công bằng về khả năng lý luận và logic để mọi người có thể thấy bước nhảy vọt về chất lượng trong các thông số.
Dù phải chờ bao lâu nữa thì ngày này mới đến, nhưng có một điều chắc chắn là thời đại Transformers thống trị thế giới đang dần qua đi.
