不知道有多少朋友和我一样爱用 @GroqInc 上的模型，优点： 1️⃣推理速度极快 我自己用下来，prompt一发出去，答案几乎马上就刷屏了，几百tokens/s的速度，聊天、跑Agent都像真人秒回一样，用过就回不去了 可以在playground里试玩： console.groq.com/playground 我自建的AI语音输入工具用的就是Groq上的whisper模型，感觉识别速度比Typeless还要快 快的原因是Groq用了LLM推理任务优化的ASIC 芯片，能实现极低的延迟和极高的确定性速度，感兴趣的朋友可以自行查阅资料 2️⃣准确度和原版模型几乎一致，速度+稳定性完胜，用着就特别舒服 3️⃣免费额度很香，不用绑卡能白嫖一堆模型，比如Llama 和 Qwen 这些