AI 創作的科學論文由 Sakana 公司提交併被 ICLR 會議接受,但專家指出了這一過程中的侷限性和人工干預。
日本 AI 初創公司 Sakana 引起關注,他們宣佈他們的 AI Scientist-v2 系統創作的一篇科學論文通過了 ICLR(一個著名的 AI 會議)的同行評審。然而,這一成就需要從多個重要角度來審視。
據 Sakana 稱,他們的 AI 從頭到尾"創作"了這篇論文,包括提出科學假設、進行實驗、分析資料和撰寫內容。這篇被接受的論文提出了一種新的 神經網路訓練方法,但該公司主動撤回了論文,以確保透明度。
Sakana 的聯合創始人兼研究科學家 Robert Lange 表示,他們為 AI 提供了會議摘要和描述,以確保主題適當。這一點值得注意,因為它表明在這個過程中仍然存在人工干預。
這一成就存在重大侷限性
儘管 Sakana 的成就可能會給人留下深刻印象,但仍有許多重要的問題需要考慮。首先,該公司承認他們的 AI 在引用方面存在"令人不快"的錯誤,如引用了 2016 年論文的方法,而不是 1997 年的原始工作。
此外,這篇論文只通過了會議的初步同行評審,而不是 ICLR 的"主會議"。會議通常的接受率高於主會議,這一點 Sakana 也公開承認。
圖片來源: SAKANA
阿爾伯塔大學的 AI 研究員 Matthew Guzdial 認為,這一結果"有點誤導",因為 Sakana 團隊使用人工評估來篩選從多篇 AI 創作的論文中選出的論文。"這表明人與 AI 的結合可能更有效,而不是單獨的 AI 就能推動科學進步,"他說。
來自倫敦國王學院的研究生 Mike Cook 也對評審過程的嚴謹性提出了質疑。他指出,新興會議通常由年輕研究人員評審,而這個會議側重於負面結果,這可能使 AI 更容易撰寫令人信服的失敗論文。
重要的是,Sakana 並沒有聲稱他們的 AI 能夠創造突破性的科學成果。相反,實驗的目標是"研究 AI 創作的研究質量",並推動關於 AI 創作科學的標準的討論。
