不知道有多少朋友和我一樣愛用 @GroqInc 上的模型，優點： 1️⃣推理速度極快 我自己用下來，prompt一發出去，答案几乎馬上就刷屏了，幾百tokens/s的速度，聊天、跑Agent都像真人秒回一樣，用過就回不去了 可以在playground裡試玩： console.groq.com/playground 我自建的AI語音輸入工具用的就是Groq上的whisper模型，感覺識別速度比Typeless還要快 快的原因是Groq用了LLM推理任務優化的ASIC 芯片，能實現極低的延遲和極高的確定性速度，感興趣的朋友可以自行查閱資料 2️⃣準確度和原版模型幾乎一致，速度+穩定性完勝，用著就特別舒服 3️⃣免費額度很香，不用綁卡能白嫖一堆模型，比如Llama 和 Qwen 這些