我在一台價值 600 美元的 Mac mini 上運行了一個擁有 350 億個參數的 AI 代理程式。 配置：M4 Mac mini，16GB 內存 這個模型無法完全載入到記憶體中。它以每秒 30 個代幣的速度從 SSD 進行頁面交換。 在 NVIDIA 顯示卡上，同樣的頁面交換速度只有 1.6 個令牌/秒。而 Apple Silicon 晶片則可達到 30 個令牌/秒。速度提升了 18.6 倍。 無需雲端服務。無需 API 金鑰。每月費用為 0 美元。 以下是它的功能 🧵