Tether 的 QVAC 发布了全球首个跨平台 BitNet LoRa 框架,可在消费级 GPU 和智能手机上实现十亿参数 AI 训练和推理。

本文为机器翻译
展示原文

2026年3月17日Tether今日宣布,其面向微软BitNet模型(1位语言学习模型)的全球首个跨平台LoRa微调框架,在人工智能模型训练领域取得突破性进展。这项新功能是QVAC Fabric的一部分,可显著降低内存和计算需求,使用户能够在包括笔记本电脑、消费级GPU和现代智能手机在内的日常硬件上对数十亿参数语言模型进行微调。

开发和维护人工智能模型需要企业级的NVIDIA系统或云基础设施,而这些成本已经高得令人望而却步。这导致先进的人工智能开发几乎只面向那些拥有专用硬件和雄厚预算的大型企业。

Tether 的 QVAC Fabric LLM 结合这项基于 BitNet 的全新突破性框架,进一步增强了其性能,从而消除了这些障碍,实现了跨平台 LoRa 微调和推理加速,支持包括 Intel、AMD、Apple Silicon M 芯片等在内的各种异构消费级 GPU。这一进步使用户能够直接在市面上常见的消费级设备上训练和定制 AI 模型。

Tether 工程团队的这项成就标志着 BitNet 模型首次在移动 GPU 上成功实现微调,包括 Adreno、Mali 和 Apple Bionic GPU。用户在三星 S25(Adreno GPU)上,仅需约 10 分钟即可对包含约 300 份文档(约 1.8 万个 token)的生物医学数据集进行 1.25 亿参数 BitNet 模型的微调。对于 10 亿参数的模型,在三星 S25 设备上完成相同生物医学数据集的微调耗时 1 小时 18 分钟,在 iPhone 16 上则耗时 1 小时 45 分钟。我们的团队将设备性能发挥到极致,在 iPhone 16 上成功实现了高达 130 亿参数模型的微调。

该框架还展示了在边缘设备上对比第四季度非 BitNet 模型大 2 倍的模型进行微调的能力,从而展现了 BitNet 架构卓越的内存优势。

借助 QVAC Fabric,BitNet 推理性能也得到了显著提升。BitNet 系列模型在移动 GPU 上的运行速度明显更快。在这些设备上,GPU 的性能比 CPU 快 2 到 11 倍这表明如今的移动 GPU 可以支持以前需要专用昂贵硬件或数据中心才能完成的工作负载。

内存节省同样显著。基准测试表明,在推理和 LoRa 微调工作负载下,BitNet-1B (TQ1_0) 的显存使用量比 Gemma-3-1B (16 位) 最多可节省 77.8%,比 Qwen3-0.6B (16 位) 最多可节省 65.6%。这些节省显著提升了内存性能,使得更大型的模型和个性化工作流程能够在几个月前还被认为性能不足的硬件上运行。

此外,该框架首次实现了在非NVIDIA硬件上对1位LLM进行LoRa微调,从而扩展了对AMD、Intel、Apple Silicon和移动GPU的支持。通过减少对专用硬件和云服务提供商的依赖,该系统在确保敏感数据本地化的前提下,拓宽了AI微调的访问权限。这种效率优势也使得联邦学习在不久的将来成为可能,允许在分布式设备间训练和共享微调后的更新,同时将敏感用户数据本地化,并减少对集中式基础设施的依赖。

“智能将是未来社会发展的关键决定因素。它有潜力提升社会稳定性,成为连接社会的纽带,或进一步赋能少数精英。人工智能的未来应该是人人可及、人人可用、人人可及的,而不应占用只有少数云服务提供商才能获取的巨额资源,” Tether首席执行官 Paolo Ardoino 表示。“当大型语言模型的训练依赖于集中式基础设施时,创新就会停滞不前,生态系统就会变得脆弱,社会平衡也会受到威胁。Tether 的 QVAC 平台支持在包括智能手机在内的消费级硬件上进行有意义的大型模型训练,证明了先进的人工智能可以去中心化、包容性强,并能赋能于所有人。在未来的几周、几个月乃至几年里, Tether将继续投入大量资源和资金,以确保人工智能能够随时随地在本地设备上使用。稳定智能的时代已经到来。”

完整的技术细节,包括论文、适配器、基准测试和跨平台二进制文件,可在 Hugging Face 博客上找到:通过 QVAC Fabric 在异构边缘 GPU 上对 LoRA BitNet b1.58 LLM 进行微调。



关于Tether

Tether 的愿景是通过技术促进自由、透明和创新。其使命是使个人和组织能够直接连接和共享信息,无需不必要的中介机构。通过创建安全的点对点系统, Tether让用户能够更好地掌控自己的数据、通信和数字互动。

Tether旨在通过以去中心化基础设施取代集中式模型,重新定义信息在网络中的流动方式,从而提升隐私性、效率和弹性。公司的目标是让全球连接更快、更安全、更私密,使个人和机构都能自由安全地交换信息。

来源
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
64
收藏
14
评论