Tôi chưa từng thấy thứ gì giống như thế này trước đây!
Một trí tuệ nhân tạo ra đời trước năm 1931, chưa từng thấy máy tính nào trong dữ liệu huấn luyện của mình, và tồn tại gần một thế kỷ—
Họ thực sự đã viết mã Python sao?!
Gia đình ơi, đây thực sự không phải là khoa học viễn tưởng...
Mẫu này có tên là talkie-1930-13b.
Thương nhân tài chính là nhà nghiên cứu trí tuệ nhân tạo Nick Levine, phó giáo sư David Duvenaud của Đại học Toronto và Alec Radford nổi tiếng, người được coi là cha đẻ thực sự của sê-ri tra GPT.
Dữ liệu huấn luyện của mô hình có một quy tắc bất di bất dịch: tuyệt đối không được phép có bất kỳ ký tự nào từ ngày 1 tháng 1 năm 1931!
Nó chẳng hề biết đến truyền hình hay internet; thế giới của nó vẫn như đóng băng vào nửa đêm ngày 31 tháng 12 năm 1930.
Tuy nhiên, điều kỳ lạ nhất đã xảy ra tiếp theo: các thành viên đội ngũ phát hiện ra rằng...
Trí tuệ nhân tạo này, vốn không hề biết gì về Chính sách Kinh tế Mới của Roosevelt, lại đang nói về các đạo luật của Chính sách Kinh tế Mới một cách rất logic, thậm chí còn nêu cả năm tháng?
Điều nực cười hơn nữa là, khi đội ngũ đưa ra cho nó một bài toán lập trình Python , linh hồn từ gần trăm năm trước này lại thực sự viết dòng mã Python đầu tiên của mình?!
Một trí tuệ nhân tạo mà chưa ai trong giới máy tính từng nghe đến đang viết mã trong suốt một thế kỷ – điều này đã gây ra sự phẫn nộ trên mạng internet.
Một ý tưởng đã khơi gợi trí tưởng tượng của anh chàng này, và anh ta đã lập ra một "danh sách câu hỏi về du hành thời gian", rất háo hức muốn thử nghiệm:
Mình đã thực sự tỉnh ngủ chưa nhỉ? Trí tuệ nhân tạo có thể vượt qua thời gian và không gian không?
Một mẫu xe đồ chơi trẻ em kiểu cũ, sản xuất trước năm 1931.
Một hình mẫu sống trước năm 1931, am hiểu mọi thứ từ thiên văn học đến địa lý, và thậm chí có khả năng lập trình—chúng ta nên nghiên cứu ông ấy kỹ lưỡng.
Trên thực tế, Talkie là một mô hình với 13 tỷ tham số , được huấn luyện trên 260 tỷ từ vựng tiếng Anh từ trước năm 1931.
Các mẫu tài liệu đào tạo bao gồm, nhưng không giới hạn ở, sách, báo, tạp chí khoa học, v.v.
Từ Dickens đến Mark Twain, từ các bài báo vật lý thời Einstein đến sách dạy nấu ăn và cẩm nang nghi thức từ một thế kỷ trước, tất cả đều được đóng gói và đưa vào!
Lý do chọn năm 1930 làm mốc thời gian giới hạn cho mô hình cũng rất quan trọng, vì nó đại diện cho ranh giới để các tác phẩm được đưa vào phạm vi công cộng theo luật bản quyền của Hoa Kỳ.
Vậy câu hỏi đặt ra là, tại sao Alec Radford lại muốn thực hiện dự án này?
Trên thực tế, Radford và đội ngũ của ông muốn biết—
Nếu bạn cho một mô hình đọc tất cả các văn bản tiếng Anh được viết trước năm 1931, nó sẽ suy nghĩ như thế nào, nó sẽ giao tiếp ra sao và nó sẽ dự đoán tương lai như thế nào?
Và bạn đoán xem? Đội ngũ đã thực sự phát hiện ra một vài vụ bê bối "khủng". (Tuyệt vời!)
Mô hình đó đã bị choáng váng trước sự tiến bộ của thời đại đến mức chóng mặt và sụp đổ.
Phát hiện đầu tiên là một biểu đồ cho thấy mô hình đã "bị ảnh hưởng" như thế nào bởi sự phát triển của thời đại.
Đội ngũ đã tìm kiếm gần 5.000 sự kiện lịch sử từ chuyên mục "Ngày này năm xưa" của tờ The New York Times, đưa tất cả vào Talkie, rồi nhìn chằm chằm vào màn hình để xem anh chàng này "bất ngờ" đến mức nào về từng sự kiện đó.
Kết quả là một đường cong khá ấn tượng:
Trước năm 1930: Talkie đọc rất trôi chảy, vẻ ngạc nhiên của anh ta luôn ở mức cao. (Talkie: Ừ, ừ, tôi biết hết mọi chuyện rồi.)
Ngay sau khi bước sang năm 1930: Mức độ ngạc nhiên của Talkie bắt đầu tăng lên một cách âm thầm. (Talkie: Hả? Sao chuyện này lại có thể xảy ra?)
Những năm 1950-1960: Kỷ nguyên của bóng bán dẫn và sự phổ biến rộng rãi của tivi. Sự kinh ngạc của người xem phim có tiếng lên đến đỉnh điểm. (Người xem phim có tiếng: Khoan đã, con người đã lên vũ trụ sao? Và họ thậm chí còn chế tạo được một chiếc hộp biết di chuyển có thể chiếu phim?)
Sau đó—tôi chỉ chọn cách tiếp cận bình tĩnh, thư thái như thiền định. (lời thoại: Choáng váng, sốc và gục xuống, hoàn toàn choáng váng, cứ làm theo ý bạn...)
Đây là một trường hợp điển hình của "Bà Lưu đi tham quan Vườn Toàn Cảnh" - đặt câu hỏi, thấu hiểu và chấp nhận.
Mô hình này cũng đã học được ngôn ngữ Python.
Dĩ nhiên, đường cong biểu thị chóng mặt, sốc và tê liệt không phải là phát hiện đột phá nhất trong nghiên cứu lần, bởi vì khám phá thứ hai của các thành viên đội ngũ mới là điều đáng chú ý nhất—
Một trí tuệ nhân tạo chưa từng nhìn thấy máy tính bao giờ lại có thể học viết mã Python?!
Trong quá trình nghiên cứu, đội ngũ đã cung cấp cho talkie một bản sao bộ kiểm thử lập trình HumanEval của OpenAI.
Hãy đưa một vài hàm Python làm ví dụ vào lời nhắc, sau đó để Talkie giải quyết các vấn đề mới ngay sau khi xem xét chúng — nói cách khác, hãy để mô hình học hỏi và áp dụng kiến thức từ ngữ cảnh.
Trong bài kiểm tra này, đội ngũ cũng đã thử nghiệm talkie-web, được huấn luyện trên dữ liệu internet hiện đại, và tạo ra một biểu đồ đường so sánh.
(Đường kẻ đen: LM cổ điển, Đường kẻ xám: LM hiện đại)
Kết quả là một đòn giáng mạnh: Talkie thực sự đã giải mã được nó. Anh ta chỉ đơn giản là thay đổi +5 thành -5 trong hàm crypto và nộp bài.
Đúng vậy, chỉ có một ký tự được thay đổi, nhưng câu trả lời hoàn toàn chính xác...
Hơn nữa, đội ngũ đã phát hiện ra một xu hướng rõ ràng: mô hình càng lớn, nó càng có thể giải quyết được nhiều bài toán lập trình.
Nói cách khác, mặc dù vẫn còn tụt hậu xa so với các mô hình hiện đại, khả năng "học mã từ hư không" của các mô hình cổ điển đang dần được cải thiện dưới ảnh hưởng của Định luật Tỷ lệ.
Đội ngũ cũng cho biết họ hy vọng mô hình hồi quy có thể giúp toàn bộ cộng đồng AI hiểu được một câu hỏi cơ bản: LLM có thể khái quát hóa đến mức nào ngoài dữ liệu huấn luyện?
Mẫu năm 1930 so với mẫu năm 2026
Như câu nói xưa, so sánh là chìa khóa dẫn đến những khám phá mới.
Để tìm hiểu chính xác khả năng của talkie, đội ngũ đã huấn luyện một bản sao – talkie-web-13b – sử dụng cùng kiến trúc và tỷ lệ băm, đồng thời cung cấp cho nó dữ liệu internet hiện đại.
Sau đó, hai mô hình được so sánh với nhau trong nhiều bài kiểm tra chuẩn LLM khác nhau, và kết quả khá khác biệt:
Không có gì đáng ngạc nhiên khi bộ phim có tiếng năm 1930 thực sự thua kém phiên bản hiện đại về hiệu suất.
Tuy nhiên, khi các nhà nghiên cứu loại bỏ những chủ đề nằm ngoài phạm vi kiến thức của họ (chẳng hạn như những chủ đề liên quan đến internet hoặc DNA), khoảng cách giữa hai bên đã giảm đi một nửa .
Điều ấn tượng hơn nữa là, cả mô hình mới và mô hình cũ đều thể hiện hiệu quả gần như tương đương nhau trong nhiệm vụ cốt lõi về hiểu ngôn ngữ và tính toán toán học.
Kết luận này, ở một mức độ nào đó, cũng cho thấy rằng khả năng "hiểu ngôn ngữ" và "tính toán" dường như không phụ thuộc vào việc bạn đã đọc bao nhiêu nội dung trên internet hiện đại.
Đội ngũ cho rằng khoảng cách còn lại xuất phát từ hai lý do chính: thứ nhất, chất lượng phiên âm OCR quá kém , vì các tờ báo từ năm 1930 được trích xuất một cách tỉ mỉ từ các tài liệu đã được quét.
Thứ hai, nội dung của các nguồn dữ liệu cũng khác nhau . Ví dụ, các tờ báo cũ có nội dung công nghệ thấp nhưng nội dung về nghi thức nấu ăn lại cao.
Hmm… có lẽ phần giá trị nhất của trí thông minh mô hình lớn không liên quan nhiều đến việc ai đó đã “đọc về internet hiện đại” hay chưa?
(Talkie: Nếu tôi sinh năm 2026, tôi cũng có thể thuộc lòng GitHub!)
Sử dụng một cuốn cẩm nang về phép lịch sự từ năm 1930, trí tuệ nhân tạo (AI) đã được huấn luyện để trở thành trợ lý trò chuyện.
Như mọi người đều biết, cách tiếp cận truyền thống để biến một mô hình như Talkie thành trợ lý AI đàm thoại là sử dụng dữ liệu lệnh hiện đại như ChatGPT.
Vấn đề là làm như vậy sẽ đưa phong cách đối thoại, giá trị và các yếu tố khác của thế kỷ 21 trở lại mô hình những năm 1930.
(Lời thoại: Cuối cùng tôi cũng trở thành ông Cộng hòa Trung Hoa, và theo chỉ dẫn của anh, tôi lập tức bắt đầu nói "bé yêu"...)
Giải pháp của đội ngũ có thể được mô tả là một ý tưởng thiên tài.
Họ trực tiếp tìm đến kho lưu trữ từ trước năm 1930 và khai quật được một bộ dữ liệu huấn luyện:
Điều này bao gồm các cẩm nang về phép lịch sự dạy mọi người cách phản hồi phù hợp, các hướng dẫn viết thư dạy mọi người cách hồi đáp thư từ, v.v. Sau đó, Claude Sonnet 4.6 được sử dụng làm giáo viên để huấn luyện học tăng cường, và cuối cùng, dữ liệu huấn luyện được tạo ra.
Sử dụng kho dữ liệu hỏi đáp tự nhiên từ một thế kỷ trước, đội ngũ đã huấn luyện Talkie trở thành một trợ lý AI sẵn sàng cho việc trò chuyện.
Tuy nhiên, thực tế nhanh chóng vả vào mặt anh ta—
Đội ngũ phát hiện ra rằng phiên bản 7B ban đầu của Talkie, sau quá trình học tăng cường, thực sự đã học được cách nói theo định dạng danh sách của internet hiện đại, sử dụng 1. 2. 3.
Điều quan trọng cần biết là trong kho dữ liệu năm 1930, hoàn toàn không hề có định dạng danh sách nào trông hiện đại như vậy...
Thủ phạm chính là bài thơ Sonnet 4.6.
Vì ông Claude là một trí tuệ nhân tạo hiện đại, và vì ông Claude thích sử dụng danh sách, nên Talkie đã học cách nói bằng danh sách để đạt điểm cao…
(Đây quả thực là cách đáp ứng sở thích của họ...)
Điều này cũng phản ánh một vấn đề lớn trong việc huấn luyện mô hình: phương pháp huấn luyện dựa trên phản hồi của AI chắc chắn sẽ tạo ra một phong cách hiện đại cho mô hình.
Để khắc phục lỗi nghiêm trọng này, mục tiêu tiếp theo của đội ngũ là: một ngày nào đó để Talkie tự làm thầy của chính mình. (doge)
Alec Radford là ai?
Alec Radford , một trong những thành viên của đội ngũ làm phim Talkie, cũng là người đáng được nhắc đến.
Về phần ông ấy, thậm chí chúng ta có thể nói rằng một phần lớn "cơ sở hạ tầng" trong ngành công nghiệp AI hiện nay có liên quan đến ông ấy.
Trong gần một thập kỷ làm việc tại OpenAI, ông là một chuyên gia kỹ thuật tầm cỡ như Ilya Sutskever và là người sáng lập ra sê-ri GPT gốc.
Ông là tác giả chính của cả hai bài báo GPT-1 và GPT-2, và là người đóng góp chính cho GPT-3 và GPT-4. Ngoài ra, ông là một trong những người dẫn đầu mô hình đa phương thức CLIP, và cũng tham gia độ sâu vào Whisper và DALL·E.
Bài báo đột phá của ông vào năm 2018, lần đầu tiên đề xuất phương pháp huấn luyện trước tạo sinh dựa trên Transformer , đã trực tiếp đặt nền móng cho ChatGPT và tất cả các mô hình lớn sau này.
Cuối năm 2024, Alec rời khỏi công ty cũ, OpenAI, để theo đuổi nghiên cứu độc lập. Tháng 3 năm 2025, ông gia nhập Thinking Machines Lab, do cựu CTO của OpenAI, Mira Murati, thành lập, với vai trò cố vấn.
Nhìn lại toàn bộ Talkie, mọi thứ dường như khá thú vị.
Trong khi cả thế giới đang tập trung vào trí tuệ nhân tạo tổng quát (AGI) và các mô hình suy luận, người sáng tạo ra sê-ri GPT cùng các cộng sự của mình đã bắt tay vào tạo ra một loại trí tuệ nhân tạo chỉ tồn tại vào năm 1930.
Theo lộ trình của đội ngũ, một mô hình retro ở cấp độ GPT-3 sẽ được phát hành vào mùa hè này. Sau đó, họ cũng muốn mở rộng kho dữ liệu lên một nghìn tỷ token và mở rộng sang các quốc gia không nói tiếng Anh.
Tôi thực sự không biết nó sẽ như thế nào khi tỉnh dậy và nhìn thấy robot chạy marathon, mọi người đều có điện thoại thông minh và đặc vụ chạy khắp mọi nơi—
Tôi có bị chóng mặt và tê liệt tại chỗ lần nữa không? (Hình ảnh đính kèm)
(Tôi đã để điểm khởi đầu để sử dụng mô hình ở bên dưới. Những người bạn quan tâm có thể thử trò chuyện với một trí tuệ nhân tạo từ trăm năm trước~)
Liên kết tham khảo:
[1] Liên kết báo cáo: https://talkie-lm.com/introducing-talkie
[2] Liên kết GitHub: https://huggingface.co/talkie-lm
[3] Mẫu đoạn hội thoại: https://talkie-lm.com/chat
Bài viết này được đăng tải từ tài khoản WeChat công cộng "Quantum Bit" , tác giả: Meng Yao, và được xuất bản với sự cho phép của 36Kr.
