Tập 217: Psionic: Qwen 3.5 Tốc Độ Cao
Chúng tôi bổ sung hỗ trợ Qwen 3.5 (0.8B/2B/4B/9B) cho Psionic và đánh bại tốc độ suy luận của @ollama trên cả bốn mô hình.
Số token mỗi giây trên một card NVIDIA 4080:
🏆 0.8B: Psionic 523.20, Ollama 328.72
🏆 2B: Psionic 247.21, Ollama 205.24
🏆 4B: Psionic 166.75, Ollama 141.62
🏆 9B: Psionic 102.68, Ollama 94.62
Cảm ơn @Alibaba_Qwen vì mô hình tuyệt vời và @OpenAIDevs vì sự trợ giúp của Codex để chúng tôi có thể giả vờ là các kỹ sư ML. 😆
Phân tích & hướng dẫn tái hiện lỗi: github.com/OpenAgentsInc/psion...…
Chúng tôi rất vui khi nhận thêm yêu cầu về tính năng hoặc mô hình cho Psionic, thư viện ML tệ nhất và tốt nhất từ trước đến nay!
twitter.com/OpenAgentsInc/stat...