AI 创作的科学论文由 Sakana 公司提交并被 ICLR 会议接受,但专家指出了这一过程中的局限性和人工干预。
日本 AI 初创公司 Sakana 引起关注,他们宣布他们的 AI Scientist-v2 系统创作的一篇科学论文通过了 ICLR(一个著名的 AI 会议)的同行评审。然而,这一成就需要从多个重要角度来审视。
据 Sakana 称,他们的 AI 从头到尾"创作"了这篇论文,包括提出科学假设、进行实验、分析数据和撰写内容。这篇被接受的论文提出了一种新的 神经网络训练方法,但该公司主动撤回了论文,以确保透明度。
Sakana 的联合创始人兼研究科学家 Robert Lange 表示,他们为 AI 提供了会议摘要和描述,以确保主题适当。这一点值得注意,因为它表明在这个过程中仍然存在人工干预。
这一成就存在重大局限性
尽管 Sakana 的成就可能会给人留下深刻印象,但仍有许多重要的问题需要考虑。首先,该公司承认他们的 AI 在引用方面存在"令人不快"的错误,如引用了 2016 年论文的方法,而不是 1997 年的原始工作。
此外,这篇论文只通过了会议的初步同行评审,而不是 ICLR 的"主会议"。会议通常的接受率高于主会议,这一点 Sakana 也公开承认。
图片来源: SAKANA
阿尔伯塔大学的 AI 研究员 Matthew Guzdial 认为,这一结果"有点误导",因为 Sakana 团队使用人工评估来筛选从多篇 AI 创作的论文中选出的论文。"这表明人与 AI 的结合可能更有效,而不是单独的 AI 就能推动科学进步,"他说。
来自伦敦国王学院的研究生 Mike Cook 也对评审过程的严谨性提出了质疑。他指出,新兴会议通常由年轻研究人员评审,而这个会议侧重于负面结果,这可能使 AI 更容易撰写令人信服的失败论文。
重要的是,Sakana 并没有声称他们的 AI 能够创造突破性的科学成果。相反,实验的目标是"研究 AI 创作的研究质量",并推动关于 AI 创作科学的标准的讨论。
