Theo thông báo chính thức, Tether đã phát hành một khung tinh chỉnh BitNet LoRA đa nền tảng cho QVAC Fabric, tối ưu hóa quá trình huấn luyện và suy luận cho Microsoft BitNet (LLM 1-bit). Khung này giúp giảm đáng kể yêu cầu tỷ lệ băm và bộ nhớ, cho phép huấn luyện và tinh chỉnh các mô hình Odaily tham số trên máy tính xách tay, GPU dành cho người tiêu dùng và điện thoại thông minh.
Giải pháp này là giải pháp đầu tiên cho phép tinh chỉnh mô hình BitNet trên GPU di động (bao gồm Adreno, Mali và Apple Bionic). Các thử nghiệm cho thấy mô hình 125 triệu tham số có thể được tinh chỉnh trong khoảng 10 phút, mô hình 1 tỷ tham số trong khoảng 1 giờ, và thậm chí mở rộng mở rộng lên mô hình 13 tỷ tham số trên thiết bị di động.
Hơn nữa, khung phần mềm này hỗ trợ phần cứng đa dạng như Intel, AMD và Apple Silicon, và lần đầu tiên đạt được khả năng tinh chỉnh LLM LoRA 1-bit trên các thiết bị không phải của NVIDIA. Về hiệu năng, mô hình BitNet đạt tốc độ suy luận nhanh hơn từ 2 đến 11 lần trên GPU di động so với CPU, đồng thời giảm mức sử dụng bộ nhớ lên đến khoảng 77,8% so với các mô hình 16-bit truyền thống.
Tether tuyên bố rằng công nghệ này có tiềm năng phá vỡ sự phụ thuộc vào tỷ lệ băm cao cấp và cơ sở hạ tầng đám mây, thúc đẩy sự phát triển của việc đào tạo AI theo hướng phi tập trung và bản địa hóa, đồng thời cung cấp nền tảng cho các kịch bản ứng dụng mới như học tập liên kết.
