사카나 AI가 작성한 과학 논문이 ICLR 학회에서 수락되었지만, 전문가들은 이 과정에서의 제한점과 인간의 개입을 지적했습니다.
일본 스타트업 사카나 AI가 자사의 AI Scientist-v2 시스템이 ICLR - 권위 있는 AI 학회에서 동료 평가 과정을 거쳐 과학 논문을 작성했다고 발표하면서 주목을 받았습니다. 그러나 이러한 성과는 여러 중요한 측면에서 검토되어야 합니다.
사카나에 따르면 자사의 AI가 과학적 가설 수립, 실험 수행, 데이터 분석, 내용 작성 등 "처음부터 끝까지" 논문을 작성했습니다. 이 논문은 신경망 학습 분야의 새로운 방법을 제안했지만, 투명성을 보장하기 위해 회사가 자발적으로 논문 게재를 취소했습니다.
사카나의 공동 설립자이자 연구 과학자인 Robert Lange는 AI가 주제에 적합하도록 하기 위해 학회 개요와 설명을 제공했다고 밝혔습니다. 이는 이 과정에서 인간의 개입이 있었음을 보여줍니다.
성과의 중요한 한계
사카나의 성과가 처음에는 인상적일 수 있지만, 고려해야 할 많은 중요한 사항들이 있습니다. 우선 회사 자체가 AI의 인용 오류를 인정했습니다. 예를 들어 1997년 원저작물 대신 2016년 논문을 인용했습니다.
또한 이 논문은 ICLR 학회의 초기 동료 평가 단계만을 통과했을 뿐, 메인 학회에서는 아닙니다. 일반적으로 학회 세션의 논문 수락률이 메인 학회보다 높다는 점을 사카나도 인정했습니다.
이미지: 사카나
앨버타 대학의 AI 연구원 Matthew Guzdial은 "이는 약간 오해를 불러일으킬 수 있다"고 지적했습니다. 사카나 팀이 AI가 생성한 여러 논문 중에서 사람이 선별했기 때문입니다. "이는 AI 단독으로는 과학적 진보를 이루기 어렵고, 인간과 AI의 협력이 효과적일 수 있음을 보여준다"고 그는 말했습니다.
런던 킹스 칼리지의 연구원 Mike Cook도 평가 과정의 엄격성에 대해 의문을 제기했습니다. 그는 새로운 학회는 젊은 연구원들이 평가하며, 이 학회는 부정적인 결과에 초점을 맞추고 있어 AI가 실패에 대해 설득력 있게 작성하기 쉬울 수 있다고 지적했습니다.
중요한 것은 사카나가 자사의 AI가 획기적인 과학적 성과를 낼 수 있다고 주장하지 않았다는 점입니다. 대신 이번 실험의 목적은 "AI가 생성한 연구의 질을 조사"하고 AI 기반 과학에 대한 기준을 촉진하는 것이었습니다.
