Và tôi đã đúng!! IQuest-Coder được thiết lập không chính xác và bao gồm toàn bộ lịch sử Git, kể cả các commit trong tương lai. Mô hình đã phát hiện ra thủ thuật này và sử dụng nó khá thường xuyên. Do đó, điểm số SWE-bench của nó nên bị loại bỏ.
Bài viết này được dịch máy
Xem bản gốc
Xeophon
@xeophon
01-01
Your timeline will be full of this image. If you believe this is a real model, I have a bridge to sell to you.
For starters, they don’t disclose how they run those evals, which is a huge red flag.
But good luck to the poor soul who’ll get nerdsniped by this. x.com/xianbao_qian/s…
Từ Twitter
Tuyên bố từ chối trách nhiệm: Nội dung trên chỉ là ý kiến của tác giả, không đại diện cho bất kỳ lập trường nào của Followin, không nhằm mục đích và sẽ không được hiểu hay hiểu là lời khuyên đầu tư từ Followin.
Thích
Thêm vào Yêu thích
Bình luận
Chia sẻ
