别再猜测你的机器到底能处理哪些 LLM 了。 llmfit 只需几秒钟就能分析你的硬件,找到最适合你的本地 AI 型号。 附:这里分享更多实用、简洁的 AI 资源,供超过 15 万名工程师使用:codenewsletter.ai/subscribe?ut...… 因此,llmfit 不会像其他工具一样下载模型后出现记忆体不足 (OOM) 错误,而是先扫描你的 RAM、CPU、GPU 和 VRAM,然后从以下四个维度对每个模型进行评分: 1. 品质 - 参数数量、模型系列、量化惩罚 2. 速度 - 针对你的后端(CUDA、Metal、ROCm)的预估 tok/s 速度 3. 适配性 - 记忆体使用率与可用硬体的匹配度 4. 上下文 - 上下文视窗与你的使用场景的匹配度 每个模型都会获得一个标签:完美 / 良好 / 勉强合格 / 太紧。
本文为机器翻译
展示原文

来自推特
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
收藏
评论
分享




