Tether 近日展示了其新推出的 QVAC 系统,成功在移动设备上以 llama.cpp 运行 LLAMA 3.2(10 亿参数)模型,实现本地高效推理。QVAC 是一个通用推理与微调运行时,旨在适配包括智能手机、笔记本电脑和服务器在内的多类终端设备,当前已支持多个模型,未来将扩展更多模型支持。
Tether 展示 QVAC,本地运行 LLM 推理与微调引擎
来源
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
收藏
评论
分享




