Tác giả: Đặng Yên
Biên soạn bởi: TechFlow TechFlow
Chào buổi sáng! Cuối cùng nó cũng ở đây.
Toàn bộ bài viết của chúng tôi khá rộng nên để mọi người dễ hiểu hơn (và tránh vượt quá giới hạn kích thước của nhà cung cấp dịch vụ email), tôi quyết định chia nó thành nhiều phần và chia sẻ dần dần trong tháng tới. Bây giờ, hãy bắt đầu!
Một sai lầm lớn mà tôi không bao giờ có thể quên được.
Sự việc này đến giờ vẫn ám ảnh tôi vì đó là cơ hội hiển nhiên mà ai để ý đến thị trường đều có thể nhìn thấy nhưng tôi lại bỏ lỡ mà không đầu tư một xu nào.
Không, đây không phải là kẻ giết người Solana tiếp theo, cũng không phải là memecoin về một chú chó đội chiếc mũ ngộ nghĩnh.
Đó là...NVIDIA.
Diễn biến giá cổ phiếu NVDA từ đầu năm đến nay. Nguồn: Google
Chỉ trong một năm, giá trị vốn hóa thị trường của NVIDIA đã tăng từ 1 nghìn tỷ USD lên 3 nghìn tỷ USD, giá cổ phiếu của nó tăng gấp ba lần và thậm chí nó còn vượt trội hơn Bitcoin trong cùng thời kỳ.
Tất nhiên, một số trong đó được thúc đẩy bởi cơn sốt AI. Nhưng quan trọng hơn, tăng trưởng này có cơ sở vững chắc trên thực tế. Thu nhập của NVIDIA trong năm tài chính 2024 sẽ đạt 60 tỷ USD, tăng trưởng 126% so với năm 2023. Đằng sau tăng trưởng đáng kinh ngạc này là các công ty công nghệ lớn toàn cầu đổ xô mua GPU để chớp lấy cơ hội trong cuộc chạy đua vũ trang về trí tuệ nhân tạo nói chung (AGI).
Tại sao tôi lại bỏ lỡ nó?
Trong hai năm qua, sự chú ý của tôi hoàn toàn tập trung vào lĩnh vực crypto và tôi không chú ý đến sự phát triển trong lĩnh vực AI. Đây là một sai lầm lớn mà tôi hối hận cho đến ngày nay.
Nhưng lần, tôi sẽ không phạm sai lầm tương tự nữa.
Crypto AI ngày nay mang lại cho tôi cảm giác déjà vu.
Chúng ta đang trên bờ vực của một cuộc bùng nổ đổi mới. Nó có nét tương đồng đáng kinh ngạc với Cơn sốt vàng California vào giữa thế kỷ 19 – các ngành công nghiệp và thành phố mọc lên chỉ sau một đêm, cơ sở hạ tầng phát triển nhanh chóng và những ai dám mạo hiểm sẽ kiếm được nhiều tiền.
Giống như NVIDIA trong những ngày đầu thành lập, Crypto AI khi nhìn lại sẽ rất rõ ràng.
Crypto AI: cơ hội đầu tư với tiềm năng không giới hạn
Trong phần đầu tiên của bài viết , tôi đã giải thích tại sao Crypto AI là cơ hội tiềm năng thú vị nhất hiện nay, cho cả nhà đầu tư và nhà phát triển. Dưới đây là những điểm chính:
Nhiều người vẫn ví nơi đây như “lâu đài trên không”.
AI tiền điện tử hiện đang ở giai đoạn đầu và có thể còn 1-2 năm nữa mới đạt đến đỉnh cao.
Khu vực này có tiềm năng tăng trưởng ít nhất 230 tỷ USD.
Về cốt lõi, Crypto AI kết hợp trí tuệ nhân tạo với cơ sở hạ tầng crypto. Điều này khiến nó có nhiều khả năng đi theo quỹ đạo tăng trưởng theo cấp số nhân của AI hơn là đi theo thị trường crypto rộng lớn hơn. Vì vậy, để đón đầu xu hướng, bạn cần theo dõi nghiên cứu AI mới nhất về Arxiv và nói chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.
Bốn lĩnh vực cốt lõi của Crypto AI
Trong phần thứ hai của bài viết, tôi sẽ tập trung phân tích bốn trường con hứa hẹn nhất của Crypto AI:
Điện toán phi tập trung: đào tạo mô hình, suy luận và thị trường giao dịch GPU
mạng dữ liệu
AI có thể xác minh
Đại lý AI chạy trên Chuỗi
Bài viết này là kết quả của nhiều tuần nghiên cứu chuyên sâu và trò chuyện với những người sáng lập và đội ngũ trong lĩnh vực Crypto AI. Đây không phải là bản phân tích chi tiết về từng lĩnh vực mà là một lộ trình cấp cao được thiết kế để kích thích trí tò mò của bạn, giúp bạn tối ưu hóa hướng nghiên cứu và định hướng các quyết định đầu tư của mình.
Kế hoạch chi tiết sinh thái của Crypto AI
Tôi tưởng tượng hệ sinh thái AI phi tập trung như một cấu trúc phân lớp: bắt đầu với các mạng dữ liệu mở và điện dữ liệu phi tập trung ở một đầu, những mạng này cung cấp cơ sở cho việc đào tạo các mô hình AI phi tập trung .
Tất cả đầu vào và đầu ra suy luận đều được xác minh thông qua mật mã, khích lệ crypto và mạng đánh giá. Những kết quả đã được xác minh này sẽ chuyển đến các tác nhân AI chạy tự động trên Chuỗi cũng như các ứng dụng AI cấp người tiêu dùng và doanh nghiệp mà người dùng có thể tin cậy.
Mạng phối hợp kết nối toàn bộ hệ sinh thái, cho phép liên lạc và cộng tác liền mạch.
Trong viễn cảnh mong đợi này, bất kỳ đội ngũ nào tham gia phát triển AI đều có thể truy cập vào một hoặc nhiều cấp độ của hệ sinh thái theo nhu cầu riêng của họ. Cho dù tận dụng điện toán phi tập trung để đào tạo mô hình hay đánh giá mạng để đảm bảo đầu ra chất lượng cao, hệ sinh thái đều cung cấp các tùy chọn đa dạng.
Nhờ khả năng kết hợp của blockchain, tôi tin rằng chúng ta đang hướng tới một tương lai mô-đun . Mỗi lớp sẽ có tính chuyên môn hóa cao và các giao thức sẽ được tối ưu hóa cho các chức năng cụ thể thay vì một giải pháp tất cả trong một.
Trong những năm gần đây, lượng lớn các công ty khởi nghiệp đã xuất hiện ở mỗi tầng của hệ thống công nghệ AI phi tập trung , cho thấy tăng trưởng bùng nổ “kiểu Cambrian”. Hầu hết các công ty trong đó đều chỉ mới thành lập được 1-3 năm. Điều này cho thấy: chúng tôi vẫn đang ở giai đoạn đầu của ngành này.
Trong số các bản đồ hệ sinh thái khởi nghiệp Crypto AI mà tôi từng thấy, phiên bản cập nhật và toàn diện nhất được Casey và đội ngũ của cô duy trì tại topology.vc . Đây là nguồn tài liệu không thể thiếu cho những ai muốn theo dõi sự phát triển trong lĩnh vực này.
Khi tìm hiểu sâu hơn về các lĩnh vực con khác nhau của Crypto AI, tôi luôn tự hỏi: Cơ hội ở đây lớn đến mức nào? Tôi không tập trung vào các thị trường nhỏ mà tập trung vào những cơ hội lớn có thể mở rộng lên tới hàng trăm tỷ đô la.
Quy mô thị trường
Khi đánh giá quy mô thị trường, tôi tự hỏi: Phân khúc này đang tạo ra một thị trường hoàn toàn mới hay nó Sự lật đổ thị trường hiện tại?
Phi tập trung làm ví dụ, đây là một lĩnh vực Sự lật đổ điển hình. Chúng ta có thể ước tính tiềm năng của nó thông qua thị trường điện toán đám mây hiện có. Hiện tại, quy mô thị trường điện toán đám mây xấp xỉ 680 tỷ USD và dự kiến sẽ đạt 2,5 nghìn tỷ USD vào năm 2032.
Ngược lại, các thị trường hoàn toàn mới như tác nhân AI lại khó định lượng hơn. Do thiếu dữ liệu lịch sử , chúng ta chỉ có thể đưa ra ước tính thông qua phán đoán trực quan và suy đoán hợp lý về khả năng giải quyết vấn đề của nó. Nhưng chúng ta cần cảnh giác rằng đôi khi một sản phẩm tưởng chừng như là một thị trường hoàn toàn mới thực chất chỉ là sản phẩm của việc “tìm ra giải pháp cho một vấn đề”.
cơ hội
Thời gian là chìa khóa thành công. Mặc dù công nghệ nhìn chung được cải thiện và trở nên rẻ hơn theo thời gian nhưng tốc độ tiến bộ rất khác nhau trong các lĩnh vực khác nhau.
Công nghệ trong một lĩnh vực con nhất định đã trưởng thành đến mức nào? Nó có đủ trưởng thành để ứng dụng quy mô lớn không? Hay nó vẫn đang trong giai đoạn nghiên cứu, còn nhiều năm nữa mới có thể áp dụng vào thực tế? Thời điểm xác định xem một lĩnh vực nào đó có đáng được quan tâm ngay lập tức hay không hoặc liệu nó có nên bị loại bỏ hay không.
Lấy Crypto hoàn toàn đồng hình (FHE) làm ví dụ: tiềm năng của nó là không thể phủ nhận, nhưng hiệu suất kỹ thuật hiện tại vẫn còn quá chậm để đạt được ứng dụng quy mô lớn. Có thể phải mất vài năm nữa chúng ta mới thấy nó xuất hiện trên thị trường phổ thông. Do đó, tôi sẽ ưu tiên những lĩnh vực mà công nghệ gần được áp dụng trên quy mô lớn và tập trung thời gian cũng như sức lực của mình vào những cơ hội đang có đà phát triển.
Nếu các trường con này được vẽ trên biểu đồ "quy mô thị trường so với thời gian", thì đây có thể trông giống như bố cục. Điều quan trọng cần lưu ý là đây chỉ là bản phác thảo mang tính khái niệm chứ không phải là hướng dẫn nghiêm ngặt. Ngoài ra còn có sự phức tạp trong mỗi miền - ví dụ: trong suy luận có thể kiểm chứng, phương pháp khác nhau (chẳng hạn như zkML và opML) đang ở các giai đoạn trưởng thành công nghệ khác nhau.
Tuy nhiên, tôi tin chắc rằng tương lai của AI sẽ vô cùng rộng lớn. Ngay cả một lĩnh vực ngày nay có vẻ “thích hợp” cũng có thể phát triển thành một thị trường quan trọng trong tương lai.
Đồng thời, chúng ta cũng phải nhận ra rằng tiến bộ công nghệ không phải lúc nào cũng phát triển theo đường thẳng - nó thường tiến bộ nhảy vọt. Khi những đột phá công nghệ mới xuất hiện, quan điểm của tôi về thời điểm và quy mô thị trường sẽ điều chỉnh cho phù hợp.
Dựa trên khuôn khổ trên, tiếp theo chúng tôi sẽ loại bỏ từng lĩnh vực phụ của Crypto AI và khám phá tiềm năng phát triển cũng như cơ hội đầu tư của chúng.
Tên miền 1: Máy tính phi tập trung
Tóm tắt
Điện toán phi tập trung là trụ cột cốt lõi của toàn bộ AI phi tập trung.
Thị trường GPU, đào tạo phi tập trung và suy luận phi tập trung có liên quan chặt chẽ với nhau và phát triển song song.
Phía cung chủ yếu đến từ các trung tâm dữ liệu vừa và nhỏ và thiết bị GPU tiêu dùng thông thường.
Phía cầu hiện còn nhỏ nhưng đang dần tăng trưởng, chủ yếu bao gồm những người dùng nhạy cảm về giá và có yêu cầu về độ trễ thấp, cũng như một số công ty khởi nghiệp AI nhỏ hơn.
Thách thức lớn nhất hiện nay đối với thị trường GPU Web3 là làm thế nào để các mạng này hoạt động hiệu quả.
Việc phối hợp sử dụng GPU trong mạng phi tập trung đòi hỏi các kỹ thuật kỹ thuật tiên tiến và thiết kế kiến trúc mạng mạnh mẽ.
1.1 Thị trường GPU/Mạng máy tính
Hiện tại, một số đội ngũ Crypto AI đang xây dựng mạng GPU phi tập trung để tận dụng nguồn tài nguyên máy tính chưa được sử dụng đúng mức của thế giới nhằm đối phó với tình trạng hiện tại khi nhu cầu GPU vượt xa nguồn cung.
Giá trị cốt lõi của các thị trường GPU này có thể được tóm tắt thành ba điểm sau:
Chi phí tính toán có thể thấp hơn tới 90% so với AWS. Chi phí thấp này đến từ hai khía cạnh: một là loại bỏ người trung gian, hai là sự mở cửa của phía cung. Những thị trường này cho phép người dùng truy cập tài nguyên máy tính với chi phí cận biên thấp nhất thế giới.
Không cần ràng buộc hợp đồng dài hạn, không cần xác minh danh tính (KYC) và không cần chờ phê duyệt.
chống kiểm duyệt
Để giải quyết các vấn đề về phía cung của thị trường, các thị trường này lấy tài nguyên điện toán từ các nguồn sau:
GPU doanh nghiệp : GPU hiệu suất cao như A100 và H100, các thiết bị này thường đến từ các trung tâm dữ liệu vừa và nhỏ (gặp khó khăn trong việc tìm đủ khách hàng khi hoạt động độc lập) hoặc từ thợ đào Bitcoin đang tìm cách đa dạng hóa nguồn thu nhập của họ. Ngoài ra, có đội ngũ đang tận dụng các dự án cơ sở hạ tầng lớn do chính phủ tài trợ để xây dựng các trung tâm dữ liệu lượng lớn như một phần của quá trình phát triển công nghệ. Các nhà cung cấp này thường được khích lệ duy trì kết nối GPU với mạng để giúp bù đắp chi phí khấu hao của thiết bị.
GPU tiêu dùng : Hàng triệu người chơi và người dùng gia đình kết nối máy tính của họ với mạng và kiếm lợi nhuận thông qua phần thưởng Token.
Hiện tại, phía cầu của điện toán phi tập trung chủ yếu bao gồm các loại người dùng sau:
Người dùng nhạy cảm về giá và có yêu cầu về độ trễ thấp : chẳng hạn như các nhà nghiên cứu có ngân sách hạn chế, nhà phát triển AI độc lập, v.v. Họ quan tâm đến chi phí hơn là khả năng xử lý theo thời gian thực. Do hạn chế về ngân sách, họ thường không đủ khả năng chi trả chi phí cao cho những gã khổng lồ về dịch vụ đám mây truyền thống như AWS hay Azure. Tiếp thị chính xác nhắm mục tiêu vào nhóm này là rất quan trọng.
Các công ty khởi nghiệp AI nhỏ : Các công ty này cần tài nguyên điện toán linh hoạt và mở rộng nhưng không muốn ký hợp đồng dài hạn với các nhà cung cấp dịch vụ đám mây lớn. Việc thu hút nhóm này sẽ đòi hỏi phải tăng cường hợp tác việc kinh doanh vì họ đang tích cực tìm kiếm các giải pháp thay thế cho điện toán đám mây truyền thống.
Công ty khởi nghiệp AI về tiền điện tử : Các công ty này đang phát triển các sản phẩm AI phi tập trung, nhưng không có tài nguyên máy tính riêng, họ cần phải dựa vào các mạng phi tập trung này.
Chơi game trên đám mây : Mặc dù không liên quan trực tiếp đến AI nhưng nhu cầu về tài nguyên GPU của trò chơi trên đám mây đang tăng trưởng nhanh chóng.
Điều quan trọng cần nhớ là: các nhà phát triển luôn ưu tiên chi phí và độ tin cậy .
Thách thức thực sự: cầu chứ không phải cung
Nhiều công ty khởi nghiệp coi quy mô mạng lưới cung cấp GPU của họ là một dấu hiệu thành công nhưng trên thực tế, đó chỉ là một “chỉ báo phù phiếm”.
Nút thắt thực sự nằm ở phía cầu chứ không phải phía cung. Chỉ báo thành công chính không phải là có bao nhiêu GPU trong mạng mà là việc sử dụng GPU và số lượng GPU thực tế được thuê.
Cơ chế khích lệ Token rất hiệu quả trong việc khởi xướng phía cung và có thể nhanh chóng thu hút các nguồn lực tham gia mạng lưới. Nhưng chúng không trực tiếp giải quyết vấn đề thiếu cầu. Thử nghiệm thực tế là liệu sản phẩm có thể được đánh bóng ở trạng thái đủ tốt để khơi dậy nhu cầu tiềm ẩn hay không.
Như Haseeb Qureshi (từ Dragonfly) nói, đây chính là chìa khóa.
Làm cho mạng máy tính thực sự hoạt động
Hiện tại, thách thức lớn nhất đối với thị trường GPU phân tán Web3 thực sự là làm thế nào để các mạng này hoạt động hiệu quả.
Đây không phải là một vấn đề đơn giản.
Điều phối GPU trong mạng phân tán là một nhiệm vụ cực kỳ phức tạp liên quan đến nhiều khó khăn kỹ thuật, chẳng hạn như phân bổ tài nguyên, mở rộng khối lượng công việc động, cân bằng tải của nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và cách xử lý phân phối đa dạng. các thiết bị trên khắp thế giới. Những vấn đề này chồng chất lên nhau, đặt ra những thách thức lớn về mặt kỹ thuật.
Giải quyết những vấn đề này đòi hỏi kỹ năng kỹ thuật rất vững chắc và kiến trúc mạng được thiết kế tốt và mạnh mẽ.
Để hiểu rõ hơn về điều này, tham khảo hệ thống Kubernetes của Google. Kubernetes được nhiều người cho rằng tiêu chuẩn vàng trong việc điều phối vùng chứa, tự động hóa nhiệm vụ như cân bằng tải và mở rộng trong hoàn cảnh phân tán rất giống với những thách thức mà mạng GPU phân tán phải đối mặt. Điều đáng chú ý là Kubernetes được phát triển dựa trên hơn mười năm kinh nghiệm tính toán phân tán của Google, mặc dù vậy, phải mất vài năm để hoàn thiện thông qua các lần lặp lại liên tục.
Hiện tại, một số thị trường điện toán GPU đã ra mắt có thể xử lý khối lượng công việc quy mô nhỏ, nhưng một khi bạn cố gắng mở rộng quy mô lớn hơn, các vấn đề sẽ lộ ra. Điều này có thể là do thiết kế kiến trúc của họ về cơ bản có sai sót.
Vấn đề về uy tín: Thách thức và Cơ hội
Một vấn đề quan trọng khác mà mạng điện toán phi tập trung cần giải quyết là làm thế nào để đảm bảo độ tin cậy của nút, tức là làm thế nào để xác minh xem mỗi nút có thực sự cung cấp sức mạnh tính toán mà nó yêu cầu hay không. Hiện tại, quy trình xác minh này chủ yếu dựa vào hệ thống danh tiếng của mạng, đôi khi các nhà cung cấp máy tính được xếp hạng dựa trên điểm danh tiếng. Công nghệ blockchain có lợi thế tự nhiên trong lĩnh vực này vì nó có thể thực hiện cơ chế xác minh không cần sự tin cậy. Một số công ty khởi nghiệp như Gensyn và Spheron , đang tìm cách giải quyết vấn đề này thông qua phương pháp không cần sự tin cậy .
Hiện tại, nhiều đội ngũ Web3 vẫn đang phải vật lộn với những thách thức này, điều đó cũng có nghĩa là cơ hội trong lĩnh vực này vẫn còn rất rộng lớn.
Quy mô của thị trường máy tính phi tập trung
Vậy thị trường cho các mạng máy tính phi tập trung lớn đến mức nào?
Hiện tại, nó có thể chỉ chiếm một phần rất nhỏ trong thị trường điện toán đám mây toàn cầu, trị giá khoảng 680 tỷ USD đến 2,5 nghìn tỷ USD. Tuy nhiên, miễn là chi phí của điện toán phi tập trung thấp hơn so với các nhà cung cấp dịch vụ đám mây truyền thống thì sẽ có nhu cầu, ngay cả khi có thêm một số trở ngại trong trải nghiệm người dùng.
Tôi cho rằng rằng chi phí của điện toán phi tập trung sẽ vẫn ở mức thấp trong ngắn hạn và trung hạn. Điều này chủ yếu là do hai khía cạnh: một là trợ cấp Token và thứ hai là mở khóa nguồn cung từ những người dùng không nhạy cảm về giá. Ví dụ: nếu tôi có thể cho thuê máy tính xách tay chơi game của mình để kiếm thêm thu nhập , cho dù đó là 20 đô la hay 50 đô la một tháng, tôi sẽ hài lòng với điều đó.
Tiềm năng tăng trưởng thực sự của mạng máy tính phi tập trung và mở rộng đáng kể về quy mô thị trường của chúng sẽ phụ thuộc vào một số yếu tố chính:
Tính khả thi của việc đào tạo mô hình AI phi tập trung : Khi mạng phi tập trung có thể hỗ trợ đào tạo các mô hình AI, nó sẽ mang lại nhu cầu thị trường rất lớn.
Bùng nổ nhu cầu suy luận : Khi nhu cầu về suy luận AI tăng cao, các trung tâm dữ liệu hiện tại có thể không đáp ứng được nhu cầu này. Trên thực tế, xu hướng này đã bắt đầu xuất hiện. Jensen Huang của NVIDIA cho biết nhu cầu suy luận sẽ tăng trưởng“một tỷ lần”.
Giới thiệu Thỏa thuận cấp độ dịch vụ (SLA) : Hiện tại, điện toán phi tập trung chủ yếu cung cấp dịch vụ trên cơ sở “nỗ lực tốt nhất” và người dùng có thể phải đối mặt với sự không chắc chắn về chất lượng dịch vụ (chẳng hạn như thời gian hoạt động). Với SLA, các mạng này có thể cung cấp chỉ báo hiệu suất và độ tin cậy được tiêu chuẩn hóa, phá bỏ các rào cản chính đối với việc áp dụng doanh nghiệp và biến điện toán phi tập trung trở thành một giải pháp thay thế khả thi cho điện toán đám mây truyền thống.
Điện toán phi tập trung, không cần cấp phép là lớp nền tảng của hệ sinh thái AI phi tập trung và là một trong những cơ sở hạ tầng quan trọng nhất của nó.
Mặc dù Chuỗi cung ứng phần cứng như GPU đang mở rộng nhưng tôi tin rằng chúng ta vẫn đang ở buổi bình minh của “kỷ nguyên trí tuệ con người”. Trong tương lai, nhu cầu về sức mạnh tính toán sẽ là vô tận.
Hãy để ý đến một điểm uốn quan trọng có thể kích hoạt việc định giá lại thị trường GPU — điểm uốn này có thể sẽ sớm xuất hiện.
Các ghi chú khác:
Sự cạnh tranh trên thị trường GPU thuần túy đang rất khốc liệt. Không chỉ có sự cạnh tranh giữa các nền tảng phi tập trung mà còn phải đối mặt với sự trỗi dậy mạnh mẽ của các nền tảng đám mây mới nổi Web2 AI (như Vast.ai và Lambda).
Do hạn chế sử dụng, nút nhỏ (chẳng hạn như 4 GPU H100) có ít nhu cầu thị trường. Nhưng nếu muốn tìm nhà cung cấp bán cụm lớn thì gần như không thể vì chúng vẫn có nhu cầu rất cao.
Nguồn cung cấp tài nguyên máy tính của các giao thức phi tập trung sẽ được củng cố bởi một người chơi thống trị hay nó sẽ tiếp tục bị phân mảnh trên nhiều thị trường? Tôi thích cái trước hơn và cho rằng kết quả cuối cùng sẽ là sự phân bổ luật lũy thừa, bởi vì việc hợp nhất thường cải thiện hiệu quả của cơ sở hạ tầng. Tất nhiên, quá trình này sẽ mất thời gian và trong khi đó, sự phân mảnh và hỗn loạn của thị trường sẽ tiếp tục diễn ra.
Các nhà phát triển thích tập trung vào việc xây dựng ứng dụng hơn là dành thời gian xử lý các vấn đề về triển khai và cấu hình. Do đó, thị trường máy tính cần đơn giản hóa những sự phức tạp này và giảm thiểu trở ngại cho người dùng để có được tài nguyên máy tính.
1.2 Đào tạo phi tập trung
Tóm tắt
Nếu Luật mở rộng là đúng, việc đào tạo thế hệ mô hình AI tiên tiến tiếp theo trong một trung tâm dữ liệu duy nhất trong tương lai sẽ trở nên không khả thi.
Việc đào tạo các mô hình AI đòi hỏi lượng lớn dữ liệu truyền giữa các GPU và tốc độ kết nối thấp của các mạng GPU phân tán thường là trở ngại kỹ thuật lớn nhất.
Các nhà nghiên cứu đang khám phá nhiều giải pháp khác nhau và đã đạt được một số bước đột phá (chẳng hạn như Open DiLoCo và DisTrO). Những đổi mới công nghệ này sẽ có tác động chồng chéo và thúc đẩy sự phát triển của đào tạo phi tập trung.
Tương lai của đào tạo phi tập trung có thể tập trung nhiều hơn vào các mô hình nhỏ, chuyên biệt được thiết kế cho các lĩnh vực cụ thể thay vì các mô hình tiên tiến cho AGI.
Với sự phổ biến của OpenAI o1 và các mô hình khác, nhu cầu suy luận sẽ mở ra tăng trưởng bùng nổ, điều này cũng tạo ra cơ hội lớn cho các mạng suy luận phi tập trung.
Hãy tưởng tượng điều này: một mô hình AI khổng lồ, có khả năng thay đổi thế giới được phát triển không phải bởi các phòng thí nghiệm bí mật hàng đầu mà bởi hàng triệu người bình thường. GPU của game thủ không còn được sử dụng để hiển thị đồ họa tuyệt vời của "Call of Duty" mà còn được sử dụng để hỗ trợ một mục tiêu đầy tham vọng hơn - một mô hình AI mã nguồn mở, thuộc sở hữu chung mà không có bất kỳ người gác cổng tập trung nào.
Trong một tương lai như vậy, các mô hình AI quy mô cơ bản không còn là lĩnh vực độc quyền của các phòng thí nghiệm hàng đầu mà là kết quả của sự tham gia toàn cầu.
Nhưng quay trở lại thực tế, phần lớn hoạt động đào tạo AI hạng nặng vẫn tập trung ở các trung tâm dữ liệu tập trung và xu hướng này có thể không thay đổi trong tương lai.
Các công ty như OpenAI không ngừng mở rộng quy mô cụm GPU khổng lồ của họ. Elon Musk mới đây tiết lộ xAI sắp hoàn thiện một trung tâm dữ liệu với tổng dung lượng GPU tương đương 200.000 chiếc H100.
Nhưng vấn đề không chỉ là số lượng GPU. Google đã đề xuất một chỉ báo quan trọng trong bài báo PaLM năm 2022 - Mức sử dụng FLOPS mô hình (MFU), được sử dụng để đo lường mức sử dụng thực tế sức mạnh tính toán tối đa của GPU. Điều đáng ngạc nhiên là tỷ lệ sử dụng này thường chỉ đạt 35-40%.
Tại sao nó lại thấp như vậy? Mặc dù hiệu suất GPU đã được cải thiện nhanh chóng nhờ sự tiến bộ của Định luật Moore, nhưng những cải tiến về mạng, bộ nhớ và thiết bị lưu trữ vẫn bị tụt lại phía sau, tạo thành những nút thắt đáng kể. Kết quả là GPU thường ở trạng thái rảnh, chờ quá trình truyền dữ liệu hoàn tất.
Hiện tại, chỉ có một lý do cơ bản cho mức độ tập trung cao trong đào tạo AI—hiệu quả.
Việc đào tạo các mô hình lớn dựa trên các công nghệ chính sau:
Song song dữ liệu : Chia tập dữ liệu thành nhiều GPU để xử lý song song nhằm tăng tốc quá trình đào tạo.
Song song mô hình : Phân phối các phần khác nhau của mô hình trên nhiều GPU để khắc phục các hạn chế về bộ nhớ.
Những công nghệ này yêu cầu trao đổi dữ liệu thường xuyên giữa các GPU, do đó tốc độ kết nối (tức là tốc độ truyền dữ liệu qua mạng) là rất quan trọng.
Khi đào tạo các mô hình AI tiên tiến có thể tiêu tốn tới 1 tỷ USD, mọi cải tiến hiệu quả đều có giá trị.
Các trung tâm dữ liệu tập trung, với công nghệ kết nối tốc độ cao, cho phép truyền dữ liệu nhanh chóng giữa các GPU, giúp tiết kiệm đáng kể chi phí trong thời gian đào tạo. Đây là phi tập trung hiện đang gặp khó khăn để đáp ứng… ít nhất là chưa.
Khắc phục tốc độ kết nối chậm
Nếu nói chuyện với người hành nghề trong lĩnh vực AI, nhiều người có thể sẽ thẳng thắn nói rằng đào tạo phi tập trung không hiệu quả.
Trong kiến trúc phi tập trung, các cụm GPU không được đặt ở cùng một vị trí vật lý, điều này dẫn đến việc truyền dữ liệu giữa chúng chậm hơn và trở thành nút thắt cổ chai lớn. Quá trình đào tạo yêu cầu GPU phải đồng bộ hóa và trao đổi dữ liệu ở mỗi bước. Khoảng cách càng xa thì độ trễ càng cao. Và độ trễ cao hơn có nghĩa là đào tạo chậm hơn và chi phí tăng lên.
Một nhiệm vụ đào tạo chỉ mất vài ngày để hoàn thành trong trung tâm dữ liệu tập trung có thể mất hai tuần và tốn kém hơn trong hoàn cảnh phi tập trung . Điều này rõ ràng là không khả thi.
Tuy nhiên, điều này đang thay đổi.
Thật thú vị khi thấy rằng mối quan tâm nghiên cứu về đào tạo phân tán đang tăng nhanh chóng. Các nhà nghiên cứu đang khám phá đồng thời từ nhiều hướng, bằng chứng là lượng lớn các kết quả nghiên cứu và bài báo xuất hiện gần đây. Những tiến bộ công nghệ này sẽ có tác động chồng chéo và thúc đẩy sự phát triển của đào tạo phi tập trung.
Ngoài ra, việc thử nghiệm trong hoàn cảnh sản xuất thực tế cũng rất quan trọng, điều này có thể giúp chúng tôi vượt qua các ranh giới của công nghệ hiện có.
Hiện tại, một số công nghệ đào tạo phi tập trung đã có khả năng xử lý các mô hình quy mô nhỏ hơn trong hoàn cảnh kết nối tốc độ thấp. Và nghiên cứu tiên tiến đang nỗ lực mở rộng phương pháp này sang các mô hình quy mô lớn hơn.
Ví dụ, bài báo Open DiCoLo của Prime Intellect đề xuất một phương pháp thực tế: bằng cách chia GPU thành các "đảo", mỗi đảo hoàn thành lần phép tính cục bộ trước khi đồng bộ hóa, từ đó giảm yêu cầu băng thông xuống 1/500 so với ban đầu. Công nghệ này ban đầu là nghiên cứu của Google DeepMind về các mô hình nhỏ và hiện đã được mở rộng thành công để huấn luyện một mô hình với 10 tỷ tham số và gần đây đã hoàn toàn mã nguồn mở.
Khung DisTrO của Nous Research còn đột phá hơn nữa, giảm yêu cầu giao tiếp giữa các GPU tới 10.000 lần thông qua công nghệ tối ưu hóa, đồng thời đào tạo thành công một mô hình với 1,2 tỷ tham số.
Động lực này vẫn tiếp tục. Nous gần đây đã thông báo rằng họ đã hoàn thành việc đào tạo trước mô hình 15 tỷ tham số, đường cong tổn thất và tốc độ hội tụ của nó thậm chí còn vượt qua hiệu suất của đào tạo tập trung truyền thống.
( Chi tiết Tweet )
Ngoài ra, phương pháp như SWARM Parallelism và DTFMHE đang khám phá cách đào tạo các mô hình AI quy mô rất lớn trên các loại thiết bị khác nhau, ngay cả khi các thiết bị đó có tốc độ và điều kiện kết nối khác nhau.
Một thách thức khác là làm thế nào để quản lý phần cứng GPU đa dạng, đặc biệt là GPU cấp độ người tiêu dùng phổ biến trong các mạng phi tập trung. Các thiết bị này thường có bộ nhớ hạn chế. Vấn đề này đang được giải quyết thông qua mô hình song song (phân phối các lớp khác nhau của mô hình trên nhiều thiết bị).
Tương lai của đào tạo phi tập trung
Hiện tại, quy mô mô hình của phương pháp đào tạo phi tập trung vẫn thua xa so với các mô hình hiện đại (GPT-4 được báo cáo là có gần một nghìn tỷ tham số, lớn hơn 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để đạt được quy mô thực sự, chúng ta cần tạo ra những đột phá lớn trong thiết kế kiến trúc mô hình, cơ sở hạ tầng mạng và chiến lược phân bổ nhiệm vụ.
Nhưng chúng ta có thể mạnh dạn tưởng tượng rằng trong tương lai, hoạt động đào tạo phi tập trung có thể thu thập được nhiều sức mạnh tính toán GPU hơn cả trung tâm dữ liệu tập trung lớn nhất.
Pluralis Research (một đội ngũ đáng theo dõi trong lĩnh vực đào tạo phi tập trung ) cho rằng rằng điều này không chỉ có thể xảy ra mà còn là điều không thể tránh khỏi. Các trung tâm dữ liệu tập trung bị giới hạn bởi các điều kiện vật lý như không gian và nguồn điện , phi tập trung có thể khai thác các nguồn tài nguyên hầu như không giới hạn trên khắp thế giới.
Ngay cả Jensen Huang của NVIDIA cũng đề cập rằng đào tạo phi tập trung không đồng bộ có thể là chìa khóa để mở ra tiềm năng mở rộng mở rộng của AI. Ngoài ra, mạng đào tạo phân tán cũng có khả năng chịu lỗi mạnh hơn.
Do đó, trong một khả năng trong tương lai, các mô hình AI mạnh nhất thế giới sẽ được đào tạo theo phương thức phi tập trung.
Viễn cảnh mong đợi thật thú vị, nhưng hiện tại tôi đã đặt trước. Chúng ta cần bằng chứng mạnh mẽ hơn cho thấy việc đào tạo phi tập trung cho các mô hình quy mô rất lớn là khả thi về mặt kỹ thuật và kinh tế.
Tôi cho rằng các trường hợp sử dụng tốt nhất cho đào tạo phi tập trung có thể nằm ở các mô hình mã nguồn mở chuyên biệt, nhỏ hơn được thiết kế cho các trường hợp sử dụng cụ thể, thay vì cạnh tranh với các mô hình tiên tiến nhắm mục tiêu AGI rất lớn. Một số kiến trúc nhất định, đặc biệt là các mô hình không phải Transformer, đã chứng tỏ mình rất phù hợp phi tập trung hoàn cảnh phi tập trung.
Ngoài ra, cơ chế khích lệ Token cũng sẽ là một phần quan trọng trong tương lai. Khi việc đào tạo phi tập trung trở nên khả thi trên quy mô lớn, token có thể khích lệ và khen thưởng một cách hiệu quả cho những người đóng góp, từ đó thúc đẩy sự phát triển của các mạng này.
Mặc dù còn một chặng đường dài phía trước nhưng tiến bộ hiện tại rất đáng khích lệ. Những đột phá trong đào tạo phi tập trung sẽ không chỉ mang lại lợi ích cho các mạng phi tập trung mà còn mang lại những khả năng mới cho các công ty công nghệ lớn và các phòng thí nghiệm AI hàng đầu...
1.3 Lý luận phi tập trung
Hiện nay, hầu hết tài nguyên tính toán cho AI đều tập trung vào việc đào tạo các mô hình lớn. Đang có một cuộc chạy đua vũ trang giữa các phòng thí nghiệm AI hàng đầu để phát triển các mô hình cơ bản mạnh nhất và cuối cùng đạt được AGI.
Nhưng tôi cho rằngviệc đầu tư tập trung tài nguyên máy tính vào đào tạo này sẽ dần chuyển sang suy luận trong vài năm tới. Khi công nghệ AI ngày càng được tích hợp vào các ứng dụng chúng ta sử dụng hàng ngày—từ chăm sóc sức khỏe đến ngành giải trí—tài nguyên điện toán cần thiết để hỗ trợ suy luận sẽ trở nên vô cùng lớn.
Xu hướng này không phải là không có cơ sở. Mở rộng toán quy mô thời gian suy luận đã trở thành một chủ đề nóng trong lĩnh vực AI. OpenAI gần đây đã phát hành phiên bản xem trước/mini của mẫu o1 mới nhất (tên mã: Strawberry), có tính năng đáng chú ý là: "cần thời gian để suy nghĩ". Cụ thể, nó phân tích các bước cần thực hiện để trả lời một câu hỏi và sau đó thực hiện các bước đó.
Mô hình này được thiết kế cho nhiệm vụ phức tạp hơn đòi hỏi phải lập kế hoạch, chẳng hạn như giải các câu đố ô chữ và có thể xử lý các vấn đề đòi hỏi khả năng suy luận độ sâu. Mặc dù nó tạo ra phản hồi chậm hơn nhưng kết quả lại chi tiết và chu đáo hơn. Tuy nhiên, thiết kế này cũng mang lại chi phí vận hành cao và chi phí suy luận của nó gấp 25 lần so với GPT-4 .
Từ xu hướng này có thể thấy rằng bước nhảy vọt tiếp theo về hiệu suất AI sẽ không chỉ dựa vào việc đào tạo các mô hình lớn hơn mà còn dựa vào mở rộng sức mạnh tính toán trong giai đoạn suy luận.
Nếu bạn muốn biết thêm, có một số nghiên cứu đã chứng minh:
Bằng cách mở rộng quy mô tính toán suy luận bằng cách lấy mẫu lặp lại, có thể đạt được những cải thiện hiệu suất đáng kể trong nhiều nhiệm vụ.
Giai đoạn suy luận cũng tuân theo luật mở rộng theo cấp số nhân (Luật chia tỷ lệ).
Sau khi các mô hình AI mạnh mẽ được đào tạo, nhiệm vụ suy luận của chúng (tức là giai đoạn ứng dụng thực tế) có thể được chuyển sang các mạng điện toán phi tập trung. Cách tiếp cận này rất hấp dẫn vì những lý do sau:
Yêu cầu về nguồn lực cho suy luận thấp hơn nhiều so với đào tạo. Sau khi đào tạo xong, mô hình có thể được nén và tối ưu hóa thông qua các kỹ thuật như lượng tử hóa, cắt tỉa hoặc chưng cất. Mô hình thậm chí có thể được tách ra bằng cách sử dụng Song song Tensor hoặc Song song đường ống để chạy trên các thiết bị tiêu dùng thông thường. Suy luận không yêu cầu sử dụng GPU cao cấp.
Xu hướng này đã và đang hình thành. Ví dụ: Exo Labs đã tìm ra phương pháp chạy mô hình Llama3 tham số 450 tỷ trên phần cứng tiêu dùng như MacBook và Mac Minis. Bằng cách phân phối nhiệm vụ suy luận trên nhiều thiết bị, ngay cả các nhu cầu điện toán quy mô lớn cũng có thể được hoàn thành một cách hiệu quả và tiết kiệm chi phí.
Trải nghiệm người dùng tốt hơn : Triển khai sức mạnh tính toán gần hơn với người dùng có thể giảm đáng kể độ trễ, điều này rất quan trọng đối với các ứng dụng thời gian thực như chơi game, thực tế tăng cường (AR) hoặc ô tô tự lái - trong đó, mỗi mili giây chậm trễ có thể mang lại một người dùng khác trải nghiệm.
Chúng ta có thể so sánh lý luận phi tập trung với CDN (Mạng phân phối nội dung) của AI. CDN truyền thống nhanh chóng truyền nội dung trang web bằng cách kết nối với các máy chủ gần đó, phi tập trung sử dụng tài nguyên máy tính cục bộ để tạo ra phản hồi AI với tốc độ cực nhanh. Bằng cách này, các ứng dụng AI có thể trở nên hiệu quả hơn, phản hồi nhanh hơn và đáng tin cậy hơn.
Xu hướng này đã và đang hình thành. Hiệu năng của chip M4 Pro mới nhất của Apple đã gần ngang bằng với RTX 3070 Ti của NVIDIA - GPU hiệu năng cao từng chỉ dành riêng cho những game thủ khó tính. Ngày nay, phần cứng chúng ta sử dụng hàng ngày ngày càng có khả năng xử lý khối lượng công việc AI phức tạp.
Trao quyền giá trị cho crypto
Để mạng suy luận phi tập trung thực sự thành công, nó phải cung cấp đủ khích lệ kinh tế hấp dẫn cho người tham gia. Nút máy tính trong mạng cần nhận được mức bồi thường hợp lý cho sức mạnh tính toán mà chúng đóng góp và hệ thống cũng cần đảm bảo tính công bằng và hiệu quả trong việc phân phối phần thưởng. Ngoài ra, sự đa dạng về mặt địa lý cũng rất quan trọng. Nó không chỉ làm giảm độ trễ của nhiệm vụ suy luận mà còn cải thiện khả năng chịu lỗi của mạng, từ đó nâng cao tính ổn định tổng thể.
Vậy cách tốt nhất để xây dựng một mạng lưới phi tập trung là gì? Câu trả lời là crypto.
Token là một công cụ mạnh mẽ có thể thống nhất lợi ích của tất cả người tham gia và đảm bảo rằng mọi người đều hướng tới cùng một mục tiêu: mở rộng quy mô mạng và tăng giá trị của token.
Ngoài ra, Token có thể đẩy nhanh sự phát triển của mạng một cách đáng kể. Chúng giúp giải quyết vấn đề nan giải "con gà và quả trứng" cổ điển mà nhiều mạng phải đối mặt trong giai đoạn phát triển ban đầu. Bằng cách khen thưởng những người chấp nhận sớm, Token có thể thu hút nhiều người hơn tham gia vào mạng ngay từ đầu.
Tính hiệu quả của cơ chế này đã được chứng minh bằng sự thành công của Bitcoin và Ethereum- chúng đã tích lũy được nguồn sức mạnh tính toán lớn nhất trên hành tinh.
Mạng lý luận phi tập trung sẽ là người kế thừa tiếp theo. Thông qua sự đa dạng về địa lý, các mạng này có thể giảm độ trễ, cải thiện khả năng chịu lỗi và đưa dịch vụ AI đến gần hơn với người dùng. Và với sự trợ giúp của các cơ chế khích lệ dựa trên crypto , tốc độ và hiệu quả mở rộng của các mạng phi tập trung sẽ vượt xa các mạng truyền thống.
vinh danh
Đằng Yên
Trong sê-ri bài viết tiếp theo, chúng ta sẽ tìm hiểu sâu hơn về mạng dữ liệu và xem xét cách chúng có thể giúp vượt qua các tắc nghẽn dữ liệu mà AI phải đối mặt.
Tuyên bố miễn trừ trách nhiệm
Bài viết này chỉ nhằm mục đích giáo dục và không phải là lời khuyên tài chính. Đây không phải là sự chứng thực về việc mua hoặc bán tài sản hoặc các quyết định tài chính. Luôn tự nghiên cứu và thận trọng khi đưa ra lựa chọn đầu tư.
