Tether phát hành khung BitNet LoRA đa nền tảng, hỗ trợ huấn luyện và suy luận mô hình quy mô lớn trên GPU và điện thoại thông minh dành cho người tiêu dùng.

Theo Mars Finance, CEO của Tether, Paolo Ardoino, tiết lộ rằng đội ngũ Tether AI đã phát hành phiên bản mới của QVAC Fabric, tích hợp khung BitNet LoRA đa nền tảng, cho phép huấn luyện và suy luận các mô hình tỷ tham số trên GPU và điện thoại thông minh dành cho người tiêu dùng. QVAC Fabric LLM mới là sản phẩm đầu tiên đạt được khả năng hoạt động đa nền tảng của việc tinh chỉnh và suy luận BitNet LoRA trên AMD, Intel, Apple Metal và GPU di động. Trên các thiết bị cao cấp, tốc độ suy luận GPU nhanh hơn CPU từ 2 đến 11 lần, và mức sử dụng bộ nhớ giảm tới 90% so với các mô hình độ chính xác đầy đủ. Đội ngũ Tether đã tinh chỉnh các mô hình với tối đa 3,8 tỷ tham số trên các điện thoại cao cấp như Pixel 9, S25 và iPhone 16, và đạt được khả năng tinh chỉnh các mô hình với tối đa 13 tỷ tham số trên iPhone 16. Mã nguồn liên quan đã được mã nguồn mở trên GitHub.