我在一台价值 600 美元的 Mac mini 上运行了一个拥有 350 亿个参数的 AI 代理程式。 配置：M4 Mac mini，16GB 内存 这个模型无法完全载入到记忆体中。它以每秒 30 个代币的速度从 SSD 进行页面交换。 在 NVIDIA 显示卡上，同样的页面交换速度只有 1.6 个令牌/秒。而 Apple Silicon 晶片则可达到 30 个令牌/秒。速度提升了 18.6 倍。 无需云端服务。无需 API 金钥。每月费用为 0 美元。 以下是它的功能 🧵