Tether 的 QVAC 發佈了全球首個跨平臺 BitNet LoRa 框架,可在消費級 GPU 和智能手機上實現十億參數 AI 訓練和推理。

本文為機器翻譯
展示原文

2026年3月17日Tether今日宣佈,其面向微軟BitNet模型(1位語言學習模型)的全球首個跨平臺LoRa微調框架,在人工智能模型訓練領域取得突破性進展。這項新功能是QVAC Fabric的一部分,可顯著降低內存和計算需求,使用戶能夠在包括筆記本電腦、消費級GPU和現代智能手機在內的日常硬件上對數十億參數語言模型進行微調。

開發和維護人工智能模型需要企業級的NVIDIA系統或雲基礎設施,而這些成本已經高得令人望而卻步。這導致先進的人工智能開發幾乎只面向那些擁有專用硬件和雄厚預算的大型企業。

Tether 的 QVAC Fabric LLM 結合這項基於 BitNet 的全新突破性框架,進一步增強了其性能,從而消除了這些障礙,實現了跨平臺 LoRa 微調和推理加速,支持包括 Intel、AMD、Apple Silicon M 芯片等在內的各種異構消費級 GPU。這一進步使用戶能夠直接在市面上常見的消費級設備上訓練和定製 AI 模型。

Tether 工程團隊的這項成就標誌著 BitNet 模型首次在移動 GPU 上成功實現微調,包括 Adreno、Mali 和 Apple Bionic GPU。用戶在三星 S25(Adreno GPU)上,僅需約 10 分鐘即可對包含約 300 份文檔(約 1.8 萬個 token)的生物醫學數據集進行 1.25 億參數 BitNet 模型的微調。對於 10 億參數的模型,在三星 S25 設備上完成相同生物醫學數據集的微調耗時 1 小時 18 分鐘,在 iPhone 16 上則耗時 1 小時 45 分鐘。我們的團隊將設備性能發揮到極致,在 iPhone 16 上成功實現了高達 130 億參數模型的微調。

該框架還展示了在邊緣設備上對比第四季度非 BitNet 模型大 2 倍的模型進行微調的能力,從而展現了 BitNet 架構卓越的內存優勢。

藉助 QVAC Fabric,BitNet 推理性能也得到了顯著提升。BitNet 系列模型在移動 GPU 上的運行速度明顯更快。在這些設備上,GPU 的性能比 CPU 快 2 到 11 倍這表明如今的移動 GPU 可以支持以前需要專用昂貴硬件或數據中心才能完成的工作負載。

內存節省同樣顯著。基準測試表明,在推理和 LoRa 微調工作負載下,BitNet-1B (TQ1_0) 的顯存使用量比 Gemma-3-1B (16 位) 最多可節省 77.8%,比 Qwen3-0.6B (16 位) 最多可節省 65.6%。這些節省顯著提升了內存性能,使得更大型的模型和個性化工作流程能夠在幾個月前還被認為性能不足的硬件上運行。

此外,該框架首次實現了在非NVIDIA硬件上對1位LLM進行LoRa微調,從而擴展了對AMD、Intel、Apple Silicon和移動GPU的支持。通過減少對專用硬件和雲服務提供商的依賴,該系統在確保敏感數據本地化的前提下,拓寬了AI微調的訪問權限。這種效率優勢也使得聯邦學習在不久的將來成為可能,允許在分佈式設備間訓練和共享微調後的更新,同時將敏感用戶數據本地化,並減少對集中式基礎設施的依賴。

“智能將是未來社會發展的關鍵決定因素。它有潛力提升社會穩定性,成為連接社會的紐帶,或進一步賦能少數精英。人工智能的未來應該是人人可及、人人可用、人人可及的,而不應占用只有少數雲服務提供商才能獲取的鉅額資源,” Tether首席執行官 Paolo Ardoino 表示。“當大型語言模型的訓練依賴於集中式基礎設施時,創新就會停滯不前,生態系統就會變得脆弱,社會平衡也會受到威脅。Tether 的 QVAC 平臺支持在包括智能手機在內的消費級硬件上進行有意義的大型模型訓練,證明了先進的人工智能可以去中心化、包容性強,並能賦能於所有人。在未來的幾周、幾個月乃至幾年裡, Tether將繼續投入大量資源和資金,以確保人工智能能夠隨時隨地在本地設備上使用。穩定智能的時代已經到來。”

完整的技術細節,包括論文、適配器、基準測試和跨平臺二進制文件,可在 Hugging Face 博客上找到:通過 QVAC Fabric 在異構邊緣 GPU 上對 LoRA BitNet b1.58 LLM 進行微調。



關於Tether

Tether 的願景是通過技術促進自由、透明和創新。其使命是使個人和組織能夠直接連接和共享信息,無需不必要的中介機構。通過創建安全的點對點系統, Tether讓用戶能夠更好地掌控自己的數據、通信和數字互動。

Tether旨在通過以去中心化基礎設施取代集中式模型,重新定義信息在網絡中的流動方式,從而提升隱私性、效率和彈性。公司的目標是讓全球連接更快、更安全、更私密,使個人和機構都能自由安全地交換信息。

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
64
收藏
14
評論