Mục lục lục
ToggleTrong lĩnh vực trí tuệ nhân tạo (AI), việc huấn luyện các mô hình mạnh mẽ luôn đồng nghĩa với việc "đốt tiền", phụ thuộc rất nhiều vào các hệ thống NVIDIA đắt tiền hoặc tỷ lệ băm đám mây. Tuy nhiên, gã khổng lồ stablecoin Tether đang cố gắng viết lại quy tắc này bằng công nghệ. Vào ngày 17 tháng 3, Tether Data, bộ phận công nghệ của Tether, đã chính thức công bố ra mắt khung tinh chỉnh BitNet LoRA đa nền tảng đầu tiên trên thế giới dành cho nền tảng QVAC (QuantumVerse Automatic Computer) của mình.
Giá trị cốt lõi của công nghệ này nằm ở khả năng cho phép các mô hình AI với "quy mô hàng tỷ tham số" học hỏi theo cách cá nhân hóa trực tiếp trên điện thoại di động trong túi của mọi người.
Sức mạnh kỳ diệu của kiến trúc 1-bit: giúp điện thoại đạt được "hiệu quả cao với tài nguyên tối thiểu"
Bước tiến đột phá này được xây dựng dựa trên kiến trúc BitNet 1-bit LLM của Microsoft. Thông qua các tối ưu hóa sử dụng QVAC Fabric, dung lượng bộ nhớ và tải tính toán của mô hình BitNet đã được giảm xuống mức cực thấp. Theo thông báo, khung phần mềm này không chỉ hỗ trợ các GPU NVIDIA thông dụng mà còn đạt được khả năng tương thích hoàn toàn với các chip Intel, AMD, Apple M- sê-ri và các thiết bị di động như GPU Adreno (Android), Mali và Apple Bionic.
Điều này có nghĩa là trí tuệ nhân tạo (AI) mà trước đây chỉ có thể chạy trong các trung tâm dữ liệu giờ đây có thể được tinh chỉnh bằng cách sử dụng "Thích ứng hạng thấp (LoRA)" trên điện thoại di động của bạn. Tether chỉ ra rằng công nghệ này cho phép các thiết bị biên xử lý các mô hình "lớn gấp đôi" so với các mô hình lượng tử hóa Q4 truyền thống, chứng minh lợi thế bộ nhớ tối ưu.
Dữ liệu thử nghiệm thực tế cho thấy: Tốc độ đáng kinh ngạc của Samsung S25 và iPhone 16.
Trong thông báo của mình, đội ngũ kỹ thuật Tether đã chia sẻ dữ liệu thử nghiệm thú vị, chứng minh khả năng thực tiễn của khung phần mềm này trên các điện thoại di động hiện đại:
- Mô hình 125 triệu tham số: Việc tinh chỉnh một tập dữ liệu gồm 300 tài liệu y sinh trên Samsung S25 chỉ mất khoảng 10 phút .
- Mô hình 1 tỷ (1B) tham số: Nhiệm vụ tinh chỉnh tương tự mất 1 giờ 18 phút trên Samsung S25 và 1 giờ 45 phút trên iPhone 16 .
- Thử thách cực độ: Đội ngũ phát triển đã chạy thành công một mô hình với tối đa 13 tỷ (13B) tham số trên iPhone 16 để tinh chỉnh, đẩy giới hạn vật lý của thiết bị di động.
Hãy tạm biệt các khóa API và tạo ra trí tuệ nhân tạo cá nhân hoàn toàn riêng tư.
CEO của Tether, Paolo Ardoino, luôn nhấn mạnh: "Nếu bạn cần khóa API để sử dụng AI, thì nó thực sự không thuộc về bạn." Triết lý cốt lõi của QVAC là "Ưu tiên cục bộ."
Thông qua khung BitNet LoRA, người dùng có thể cho phép AI học hỏi trực tiếp từ email, ghi chú và tin nhắn cục bộ mà không cần tải bất kỳ dữ liệu lên máy chủ đám mây. Điều này không chỉ loại bỏ mối lo ngại của doanh nghiệp về việc lạm dụng dữ liệu nhạy cảm mà còn phá vỡ tình trạng hiện tại khi sự phát triển của AI bị giới hạn trong thế độc quyền của một vài gã khổng lồ. Hiện tại, QVAC Fabric LLM đã được phát hành dưới dạng phần mềm mã nguồn mở(giấy phép Apache 2.0) và cung cấp các bộ điều hợp được chọn trước trên Hugging Face, cho phép các nhà phát triển trên toàn thế giới ngay lập tức khởi động cuộc cách mạng này trong điện toán biên.
Các báo cáo liên quan
