Theo tin từ Foresight News, OpenAI đã giới thiệu bài kiểm tra PaperBench để đánh giá khả năng sao chép nghiên cứu của AI Agent. AI cần sao chép 20 bài báo hàng đầu của ICML 2024, bao gồm việc hiểu bài báo, viết mã và thực hiện thí nghiệm. Bài kiểm tra được thực hiện thông qua các tiêu chí đánh giá chi tiết do các tác giả gốc phát triển, bao gồm 8316 yêu cầu cụ thể, được LLM đánh giá. Kết quả cho thấy, Claude 3.5 Sonnet (New) kết hợp với khung mã nguồn mở có hiệu suất tốt nhất, với điểm sao chép trung bình là 21.0%, nhưng vẫn chưa vượt qua mức cơ sở của con người.