Xeophon

Xeophon

9,629個推特粉絲

關注

動態

關於法學碩士（LLM）候選人名單、開放模型和技能問題的思考。連結在回覆中。

是 GPT-5.2（-codex）速度變快了，還是隻是速度變慢了？

最近我一直在思考以下幾個問題： - 為什麼有些腳手架表現更好？是提示信息？還是可用工具（尤其是搜索工具）？亦或是循環本身？ - 模型特定的提示信息對第一個問題有何影響？這對前沿領域的影響有多大？

更新：他們已經確認了問題，並使用官方鏡像重新運行了 SWE-bench 測試。得分降至 76.2 分（仍然非常非常出色）。幹得好！他們還提供了一個 vLLM 內核補丁，並建議不要使用量化算法。 github.com/IQuestLab/IQuest-Co...…

我猜對了！！ IQuest-Coder 的配置有誤，它包含了完整的 Git 歷史記錄，包括未來的提交。該模型發現了這個漏洞，並且頻繁使用。因此，它的 SWE-bench 分數應該被捨棄。 twitter.com/xeophon/status/200...

-- 到底啦 --