Tether đang nhắm đến rào cản phần cứng AI của các ông lớn công nghệ với một khung phần mềm hứa hẹn sẽ thu nhỏ quá trình huấn luyện mô hình hàng tỷ tham số xuống mức mà điện thoại của bạn có thể xử lý được.
Khung AI Tether giúp giảm hơn 70% mức sử dụng VRAM, mở rộng điện toán biên.
Hôm thứ Ba, Tether đã công bố một khung tinh chỉnh LoRA đa nền tảng dành cho các mô hình Bitnet của Microsoft , giới thiệu hệ thống mà họ mô tả là hệ thống đầu tiên có khả năng huấn luyện và chạy các mô hình ngôn ngữ lớn 1 Bit trên các thiết bị tiêu dùng, bao gồm cả điện thoại thông minh và máy tính xách tay.
Bản phát hành này là một phần của bộ công nghệ QVAC Fabric của Tether và được thiết kế để giảm bớt nhu cầu tính toán và bộ nhớ lớn thường thấy trong quá trình phát triển trí tuệ nhân tạo, vốn chủ yếu chỉ giới hạn ở các nhà cung cấp dịch vụ đám mây và phần cứng Nvidia cao cấp.
Bằng cách hỗ trợ phần cứng đa dạng—bao gồm chip từ Intel, AMD và Apple, cũng như GPU di động—khung phần mềm này cho phép các nhà phát triển tinh chỉnh mô hình cục bộ mà không cần dựa vào cơ sở hạ tầng tập trung.
Trên thực tế, điều đó có nghĩa là các tác vụ AI trước đây chỉ dành cho trung tâm dữ liệu giờ đây có thể chạy trên các thiết bị nằm trong ba lô hoặc túi quần, một sự thay đổi có thể làm giảm chi phí và mở rộng khả năng tiếp cận cho các nhà phát triển trên khắp Hoa Kỳ và toàn cầu.
Tether cho biết các kỹ sư của họ đã chứng minh thành công khả năng tinh chỉnh Bitnet trên GPU di động, bao gồm các chip Adreno, Mali và Apple Bionic, đánh dấu một bước đột phá cho kiến trúc mô hình 1- Bit mới nổi.
Các kết quả kiểm tra hiệu năng do công ty công bố cho thấy một mô hình 125 triệu tham số có thể được tinh chỉnh trong khoảng 10 phút trên thiết bị Samsung S25, trong khi một mô hình 1 tỷ tham số hoàn thành cùng nhiệm vụ đó trong khoảng 1 giờ 18 phút trên cùng phần cứng.
Trên các thiết bị của Apple, công ty này báo cáo kết quả tương tự, với mô hình 1 tỷ tham số được tinh chỉnh trong khoảng 1 giờ 45 phút trên iPhone 16, và các thử nghiệm đẩy mô hình lên tới 13 tỷ tham số trên thiết bị.
Khung phần mềm này cũng cho thấy những cải tiến đáng kể về tốc độ suy luận, với GPU di động mang lại hiệu năng cao hơn từ hai đến 11 lần so với CPU, theo các bài kiểm tra nội bộ của Tether.
Hiệu quả sử dụng bộ nhớ là một điểm bán hàng quan trọng khác, với Bitnet-1B sử dụng ít hơn tới 77,8% VRAM so với các mẫu 16- Bit tương đương và ít hơn hơn 65% so với các kiến trúc được sử dụng rộng rãi khác, cho phép các mô hình lớn hơn hoạt động trên phần cứng hạn chế.
Tether cho biết hệ thống này cũng cho phép tinh chỉnh LoRA trên phần cứng không phải của Nvidia lần đầu tiên trong phân khúc này, một bước đi có thể giảm sự phụ thuộc vào các chip chuyên dụng và dịch vụ đám mây trong khi vẫn giữ dữ liệu nhạy cảm được lưu trữ cục bộ trên thiết bị của người dùng.
Công ty này cho biết thêm rằng phương pháp này có thể giúp việc học liên kết trở nên thiết thực hơn bằng cách cho phép các mô hình được huấn luyện trên các thiết bị phân tán mà không cần tập trung dữ liệu, một lĩnh vực đang được quan tâm ngày càng nhiều trong phát triển AI hướng đến quyền riêng tư.
“Bằng cách cho phép huấn luyện mô hình quy mô lớn hiệu quả trên phần cứng tiêu dùng, bao gồm cả điện thoại thông minh, QVAC của Tether đang chứng minh rằng trí tuệ nhân tạo tiên tiến có thể được phân quyền, toàn diện và trao quyền cho mọi người,” Giám đốc điều hành Tether, Paolo Ardoino, cho biết trong một tuyên bố, đồng thời nói thêm rằng công ty có kế hoạch tiếp tục đầu tư vào cơ sở hạ tầng AI trên thiết bị.
Bản phát hành kỹ thuật, bao gồm các tiêu chuẩn và chi tiết triển khai, đã được công bố thông qua Hugging Face, cho thấy nỗ lực tiếp cận trực tiếp các nhà phát triển thay vì khóa công nghệ đằng sau các hệ thống độc quyền.
Câu hỏi thường gặp 🔎
- Khung trí tuệ nhân tạo mới của Tether là gì?
Nền tảng QVAC Fabric của Tether giới thiệu một hệ thống đa nền tảng để huấn luyện và chạy các mô hình AI của Bitnet trên các thiết bị tiêu dùng như điện thoại và máy tính xách tay. - Liệu điện thoại thông minh có thực sự có thể huấn luyện các mô hình trí tuệ nhân tạo?
Đúng vậy, các bài kiểm tra hiệu năng của Tether cho thấy các mô hình có hàng tỷ tham số có thể được tinh chỉnh trên các thiết bị như Samsung S25 và iPhone 16 chỉ trong vài giờ. - Tại sao điều này lại quan trọng đối với các nhà phát triển phần mềm tại Mỹ?
Nó giúp giảm sự phụ thuộc vào cơ sở hạ tầng đám mây đắt tiền và GPU chuyên dụng, từ đó giảm chi phí và tăng khả năng tiếp cận phát triển trí tuệ nhân tạo. - Điều gì khiến Bitnet khác biệt so với các mô hình khác?
BitNet sử dụng kiến trúc 1- Bit giúp giảm đáng kể mức sử dụng bộ nhớ và cải thiện hiệu quả so với các mô hình 16- Bit truyền thống.
