Huyền thoại AI và cựu Giám đốc AI của Tesla, Karpathy, đã khởi động một dự án mã nguồn mở mới, "nanochat", sao chép toàn bộ quy trình ChatGPT chỉ trong chưa đầy 8.000 dòng mã, chỉ cần một GPU, khoảng bốn giờ và chi phí chỉ 100 đô la. Dự án đã đạt 4,2 nghìn sao trên ra mắt trong vòng chưa đầy 12 giờ!
Huyền thoại AI và cựu Giám đốc AI của Tesla, Karpathy đã công bố phát hành dự án mới , nanochat!
Một khuôn khổ đào tạo "ChatGPT từ đầu" tối giản nhưng đầy đủ.
Karpathy cho biết đây là một trong những dự án điên rồ nhất mà ông từng viết!
Tương đương với việc mỗi người đều có ChatGPT riêng.
Chưa đầy 12 giờ sau khi dự án được phát hành, số lượng sao trên GitHub đã vượt quá 4,2 nghìn sao! (Và con số này vẫn đang tiếp tục tăng!)
Dự án GitHub: https://github.com/karpathy/nanochat
Tất cả đều là giao thông nước máy cộng đồng, đây chính là lời kêu gọi của Karpathy trong lĩnh vực AI!
Không giống như nanoGPT trước đó, nanochat không chỉ bao gồm tiền đào tạo mà còn bao gồm toàn bộ quá trình từ chuẩn bị dữ liệu, tiền đào tạo, đào tạo giữa kỳ (đối thoại, câu hỏi trắc nghiệm, sử dụng công cụ), SFT, tinh chỉnh RL cho đến triển khai suy luận.
Toàn bộ hệ thống chỉ có khoảng 8.000 dòng mã sạch. Khởi động máy GPU, chạy một tập lệnh và sau 4 giờ, bạn có thể trò chuyện với "Little ChatGPT" mà bạn đã đào tạo trên giao diện web.
Karpathy gọi đây là "phần cuối" của LLM101n và cũng có thể trở thành cơ sở nghiên cứu trong tương lai và nền tảng thử nghiệm cho cộng đồng mã nguồn mở.
Chúng ta hãy xem xét kỹ hơn cách "nhân bản" ChatGPT chỉ trong 8.000 dòng:
Đào tạo một trình phân tích cú pháp bằng cách sử dụng triển khai Rust mới
Đào tạo trước TransformerLLM trên FineWeb và đánh giá điểm CORE theo nhiều chỉ báo
Đào tạo tạm thời về các cuộc đối thoại trợ lý người dùng, câu hỏi trắc nghiệm và dữ liệu sử dụng công cụ từ SmolTalk
Tiến hành SFT đánh giá các mô hình trò chuyện về các câu hỏi trắc nghiệm về kiến thức thế giới (ARC-E/C, MMLU), toán học (GSM8K) và mã (HumanEval)
Sử dụng GRPO để tinh chỉnh mô hình trên GSM8K
Triển khai suy luận hiệu quả trong công cụ với bộ nhớ đệm KV, giải mã/điền dữ liệu trước đơn giản, công cụ (trình thông dịch Python trong hộp cát nhẹ) và tương tác với công cụ này thông qua CLI hoặc giao diện web giống ChatGPT.
Viết một bản ghi Markdown tóm tắt và trò chơi hóa toàn bộ quá trình.
Toàn bộ dự án có chi phí chỉ khoảng 100 đô la (khoảng 4 giờ đào tạo trên một nút 8XH100) .
Bạn có thể đào tạo và sao chép một ChatGPT nhỏ có khả năng đàm thoại, có thể tạo ra các câu chuyện/bài thơ và trả lời các câu hỏi đơn giản .
Chỉ cần khoảng 12 giờ đào tạo là có thể vượt qua chỉ báo cốt lõi của GPT-2 .
Khi mở rộng lên khoảng 1.000 đô la (~41,6 giờ đào tạo), mô hình nhanh chóng trở nên mạch lạc hơn, có khả năng giải quyết các bài toán/lập trình đơn giản và long các câu hỏi trắc nghiệm .
Một mô hình được đào tạo trong 24 giờ (có FLOP tương đương với GPT-3Small125M, khoảng 1/1000 GPT-3) có thể nhập phân đoạn thứ 40 trên MMLU, phân đoạn thứ 70 trên ARC-Easy và phân đoạn thứ 20 trên GSM8K.
Tóm lại:
100 đô la → Bạn có thể đào tạo một "ChatGPT mini" tương tự như OpenAI có thể viết thơ và trả lời các câu hỏi cơ bản;
1.000 đô la → Đạt hiệu suất gần bằng hoặc tốt hơn GPT-2 và có thể thực hiện suy luận cơ bản và tạo mã.
Dự án này thể hiện triết lý cốt lõi của ông:
"Giảm rào cản gia nhập nghiên cứu và tái tạo LLM, cho phép mọi người tự đào tạo mô hình của riêng mình."
Cách tiếp cận dân chủ hóa này hoàn toàn giống với phương pháp "triển khai Transformer từ đầu" mà ông ủng hộ trong giai đoạn nanoGPT.
Địa chỉ dự án: https://github.com/karpathy/nanoGPT
Karpathy cho biết mục tiêu của ông là kết hợp toàn bộ "cơ sở vững chắc" thành một kho lưu trữ mạch lạc, tối giản, dễ đọc, dễ sửa đổi và có khả năng phân nhánh tối đa.
nanochat sẽ là dự án cuối cùng của LLM101n (vẫn đang trong quá trình phát triển).
Karpathy cho rằng nanochat cũng có khả năng phát triển thành một công cụ nghiên cứu hoặc chuẩn mực, giống như nanoGPT trước đây.
nanoGPT dạy bạn cách xây dựng não bộ, còn nanochat dạy bạn cách xây dựng ChatGPT.
Nếu nanoGPT là "Dự án giảng dạy mã nguồn Transformer".
Sau đó, nanochat là "phiên bản thu nhỏ của hệ sinh thái LLM", giống như OpenAI và là AI độc quyền của bạn.
Mối quan hệ giữa hai bên có thể được hiểu là vòng lặp khép kín hai bước từ nền tảng mạng nơ-ron đến hệ thống đối thoại cấp sản phẩm.
Từ Vibe Coding đến nanoGPT , và bây giờ là nanochat , Karpathy xứng đáng là người phát ngôn tốt nhất cho "nhà giáo dục AI" .
"Công việc điên rồ" này không phải là một ảo tưởng, mà là một thực hành khác của lý tưởng về AI mở, có thể học được và có thể tái tạo của Karpathy.
Hiển thị hiệu ứng ChatGPT nhỏ
Karpathy đã triển khai dự án nanochat trong WebUI.
Ông cũng đưa ra một ví dụ về cuộc trò chuyện bằng nanochat có giá 100 đô la và kéo dài trong 4 giờ.
Thật...thú vị!
Hình bên dưới hiển thị một phần "bảng điểm" do Karpathy tạo ra trong thí nghiệm "chạy tốc độ 100 đô la" của nanochat (tức là một mô hình ChatGPT nhỏ được đào tạo trong khoảng 4 giờ chỉ bằng GPU), cho biết quy mô mô hình, thời gian đào tạo và hiệu suất trên các biện pháp đánh giá tiêu chuẩn khác nhau.
Ký tự: 333989 —— Tổng số ký tự trong mã.
Dòng: 8304 — Khoảng 8300 dòng mã sạch, có chú thích rõ ràng.
Tệp tin: 44 —— Số lượng tệp tin dự án.
Mã thông báo: khoảng 83.497 — số lượng mã thông báo trong mã (tương ứng với khoảng 80.000 từ).
Phụ thuộc: 2004 dòng danh sách phụ thuộc uv.lock - cho thấy rất ít phụ thuộc và cấu trúc dự án nhẹ.
Những con số này thể hiện tinh thần tối giản của nanochat: nó triển khai đầy đủ quá trình đào tạo, tinh chỉnh và suy luận của ChatGPT, đồng thời vẫn giữ trong phạm vi 8.000 dòng mã .
Tham khảo:
https://x.com/karpathy/status/1977755427569111362
https://github.com/karpathy/nanochat
Bài viết này trích từ tài khoản công khai WeChat "Xinzhiyuan" , tác giả: Xinzhiyuan, biên tập: Dinghui và được 36Kr cấp phép xuất bản.
