Công ty AI Gradient ra mắt 'Echo-2' nhằm giảm chi phí huấn luyện mô hình hơn 90%.

Công ty cơ sở hạ tầng AI Gradient đã ra mắt Echo-2, nền tảng học tăng cường (RL) phi tập trung thế hệ tiếp theo của mình. Nền tảng này giải quyết chi phí tính toán cao bằng cách sử dụng công nghệ điện toán phân tán, tận dụng tài nguyên GPU nhàn rỗi trên toàn thế giới. Cách tiếp cận này nhắm vào quá trình lấy mẫu, chiếm 80% tính toán RL và rất phù hợp cho xử lý song song cấp cao. Gradient đã giảm thành công chi phí huấn luyện cho một mô hình 30 tỷ tham số hơn 10 lần, từ khoảng 4.490 đô la trên các nền tảng điện toán đám mây thương mại xuống còn khoảng 425 đô la mỗi phiên. Thời gian huấn luyện cũng được rút ngắn đáng kể xuống còn 9,5 giờ. Echo-2 tích hợp công nghệ RL bất đồng bộ dựa trên "Bounded Staleness", tách biệt người học khỏi các tác nhân và quản lý chặt chẽ độ trễ thời gian giữa các phiên bản mô hình để duy trì tính ổn định của quá trình huấn luyện. Nền tảng này cũng tích hợp giao thức ngang hàng "Lattica", cho phép triển khai các mô hình có dung lượng lớn hơn 60GB đến hàng trăm nút chỉ trong vài phút, và kiến ​​trúc "3 mặt phẳng" giúp quản lý độc lập việc triển khai, huấn luyện và dữ liệu để tạo ra môi trường sẵn sàng hoạt động mà không cần thiết lập phức tạp. Một đại diện của Gradient cho biết Echo-2 sẽ là nền tảng cho bất kỳ ai cũng có thể xây dựng và sở hữu các mô hình suy luận tiên tiến mà không bị ràng buộc về kinh tế.