Tether 近日展示了其新推出的 QVAC 系統,成功在移動設備上以 llama.cpp 運行 LLAMA 3.2(10 億參數)模型,實現本地高效推理。QVAC 是一個通用推理與微調運行時,旨在適配包括智能手機、筆記本電腦和服務器在內的多類終端設備,當前已支持多個模型,未來將擴展更多模型支持。
Tether 展示 QVAC,本地運行 LLM 推理與微調引擎
來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論
分享

