Hiện tại, công nghệ AI liên tục đột phá, việc khám phá đổi mới về các mô hình đào tạo AI ngày càng sâu sắc. Trong làn sóng này, những mối lo ngại về độc quyền của các mô hình tập trung và sự thiếu hụt cơ chế khích lệ của các mô hình mã nguồn mở đang cần giải pháp tối ưu.
Trong bối cảnh này, dự án Pluralis ra đời. Toàn bộ đội ngũ của họ là các tiến sĩ, ngoại trừ thực tập sinh, tất cả đều đến từ Amazon. Bài viết này sẽ giới thiệu các ý tưởng kỹ thuật cốt lõi, thành phần đội ngũ, tình hình gọi vốn và mô hình đào tạo học tập theo giao thức đổi mới của Pluralis trong lĩnh vực đào tạo AI phi tập trung.
Pluralis là gì?
Pluralis Research致力于thông qua "học tập theo giao thức", xây dựng mô hình phát triển AI phi tập trung, mã nguồn mở. Mô hình này thông qua cách thức phi tập trung, tập hợp nhiều tài nguyên tính toán, đào tạo mô hình một cách phối hợp. Trong quá trình này, có thể đảm bảo rằng không một bên tham gia nào có thể lấy được toàn bộ trọng số mô hình.
Sự đổi mới cốt lõi của việc học tập theo giao thức Pluralis nằm ở mô hình giao thức, tận dụng một đặc tính then chốt của mạng thần kinh, không bên tham gia nào có thể trích xuất toàn bộ tập trọng số. Thiết kế này đảm bảo dòng giá trị hướng tới người đóng góp, đồng thời bảo vệ quyền sở hữu mô hình, khéo léo cân bằng giữa tính mở và nhu cầu tiền hóa của việc phát triển AI.
Trong Pluralis, các nhà thiết kế mô hình có thể đưa ra ý tưởng mô hình của riêng mình, còn những người cung cấp tính toán và dữ liệu có thể đóng góp các nguồn lực cần thiết để đào tạo mô hình. Những mô hình giao thức này là mở, được phát triển công khai, và thông qua việc trao quyền sở hữu một phần mô hình kết quả đào tạo cho các bên tham gia, hiệu quả khích lệ mọi người đóng góp sức lực, tiến tới mục tiêu trí tuệ nhân tạo mã nguồn mở thực sự.
Bối cảnh Pluralis
Đội ngũ Pluralis rất mạnh, trong số 8 thành viên được liệt kê trên trang web chính thức, ngoại trừ một thực tập sinh, những người còn lại đều xuất thân từ bộ phận nghiên cứu AI của Amazon, và tất cả đều có bằng tiến sĩ.
Nhà sáng lập Alexander Long: Sở hữu bằng tiến sĩ khoa học máy tính từ Đại học New South Wales, trước đây từ tháng 3/2021 đến tháng 5/2024 làm nhà khoa học ứng dụng tại Amazon. Luận án tiến sĩ của ông tập trung vào việc tăng cường học tập có hiệu quả mẫu và bộ nhớ phi tham số trong học sâu.
Nhà khoa học sáng lập Gil Avraham: Tiến sĩ học máy từ Đại học Monash, Úc, đã làm nhà khoa học ứng dụng tại Amazon từ tháng 12/2021 đến tháng 8/2024, sau đó được thăng chức lên nhà khoa học ứng dụng cao cấp, gia nhập Pluralis vào tháng 10/2024.
Nhà khoa học sáng lập Yan Zuo: Sở hữu bằng tiến sĩ kỹ thuật điện và điện tử từ Đại học Monash, Úc, quan tâm đến tối ưu hóa quy mô lớn, mô hình thống kê, học máy và thị giác máy tính, đã làm nhà khoa học ứng dụng tại Amazon từ tháng 8/2021 đến tháng 10/2024.
Nhà khoa học sáng lập Ajanthan Thalaiyasingam: Sở hữu bằng tiến sĩ khoa học máy tính từ Đại học Quốc gia Úc, đã làm nhà khoa học học máy tại Amazon từ tháng 12/2020 đến tháng 3/2024, sau đó được thăng chức lên nhà khoa học học máy cao cấp, gia nhập Pluralis vào tháng 10/2024.
Nhà khoa học sáng lập Sameera Ramasinghe: Sở hữu bằng tiến sĩ về học máy và thị giác 3D từ Đại học Quốc gia Úc, là nhà đồng sáng lập và giám đốc công nghệ của công ty công nghệ AI ConscientAI, đã làm nhà khoa học ứng dụng tại Amazon từ tháng 5/2022 đến tháng 11/2024.
Không khó để nhận thấy, các nhà sáng lập, nhà khoa học sáng lập và nhà nghiên cứu khoa học của Pluralis đều có kinh nghiệm làm việc tại Amazon, và có thế mạnh riêng trong các lĩnh vực học máy, thị giác máy tính và mô hình ngôn ngữ lớn (LLMs), một số thành viên còn từng là nghiên cứu sinh sau tiến sĩ.
Về mặt tài chính, vào tháng 3/2025, Pluralis đã hoàn thành vòng gọi vốn 7,6 triệu đô la Mỹ. Vòng gọi vốn này do CoinFund và Union Square Ventures dẫn đầu, với sự tham gia của Topology, Variant, Eden Block và Bodhi Ventures. Vòng gọi vốn này được thực hiện dưới dạng cổ phần và kèm theo quyền chọn mua tiền điện tử trong tương lai.
Học tập theo giao thức là gì?
Trong bài báo của Alexander Long về "Học tập Giao thức, Rủi ro Biên giới Phi tập trung và Vấn đề Không Tắt", ông đã đưa ra một phương thức đào tạo mô hình AI mới - Học tập Giao thức (Protocol Learning). Mục tiêu của nó là sử dụng mạng khích lệ phi tập trung để đào tạo mô hình, vượt qua những hạn chế của các phương pháp hiện tại về tập trung và mã nguồn mở.
Alexander Long chỉ ra rằng, mặc dù các mô hình tập trung hiệu quả, nhưng có rủi ro độc quyền và thiếu tính minh bạch trong quản trị; các mô hình mã nguồn mở lại thiếu cơ chế khích lệ bền vững. Học tập giao thức như một giải pháp trung gian, thông qua việc khích lệ các bên tham gia đóng góp tài nguyên tính toán, xây dựng mạng đào tạo phi tập trung, về lý thuyết có thể tập hợp tỷ lệ băm nhiều hơn vài bậc so với đào tạo tập trung.
Về mặt khả thi kỹ thuật, đào tạo phi tập trung cần đáp ứng các yêu cầu như giao tiếp hiệu quả, phân mảnh mô hình, đào tạo linh hoạt, khả năng chịu lỗi Byzantine và hỗ trợ nút không đồng nhất. Mặc dù đã có nghiên cứu đạt được một số tiến bộ trong đào tạo phân tán, song song ống dẫn và cơ chế chịu lỗi, nhưng vẫn chưa thể tích hợp hoàn toàn vào các mô hình quy mô lớn (trên 100 tỷ tham số). Ngoài ra, việc phân bổ quyền sở hữu thông qua đóng góp tính toán có thể tạo ra động lực kinh tế, nhưng vẫn cần giải quyết vấn đề xác minh tính toán, chẳng hạn như sử dụng các kỹ thuật như đặt cọc theo lý thuyết trò chơi hoặc bằng chứng không tri thức.
Tất nhiên, học tập giao thức cũng đi kèm những rủi ro mới. Các mô hình phi tập trung khó có thể bị chấm dứt một cách đơn phương, một khi mô hình mất kiểm soát hoặc bị lạm dụng, cần phải điều phối toàn mạng để dừng lại, mức độ thực hiện cực kỳ khó khăn. Ngoài ra, còn cần phải tìm kiếm sự cân bằng giữa khích lệ, an toàn và khả năng kiểm soát để ngăn chặn các hành vi độc hại.
Pluralis tin rằng, tương lai của trí tuệ nhân tạo không chỉ là phân tán, mà còn là phi tập trung. Các rào cản kỹ thuật của việc đào tạo phi tập trung không phải là không thể vượt qua, và lợi ích mà nó mang lại sẽ vô cùng to lớn.
Tóm lại, Pluralis đang xây dựng cơ sở hạ tầng đào tạo AI phi tập trung, nhằm thúc đẩy việc sáng tạo tập thể các mô hình tiên phong thông qua học tập giao thức, từ gốc để dân chủ hóa việc sản xuất và truy cập các mô hình cơ sở AI.
