GPT-5의 실패로 OpenAI는 믿을 수 없는 상황에 빠졌습니다! 모두가 GPT-5가 에르되시 퍼즐 10개를 풀었다고 생각했지만, 문헌을 찾아보고 답을 찾았다는 사실을 알게 되었습니다. 하사비스는 "정말 부끄러운 일입니다."라고 말했습니다.
OpenAI 팀은 GPT-5를 과장 광고했지만, 결국은 허황된 이야기로 판명났습니다...
문제는 이겁니다.
며칠 전, OpenAI 과학자 세바스찬 부벡은 두 명의 연구원이 GPT-5 Pro와 협력하여 단 한 주말 만에 "수세기 동안 해결되지 않은 사건" 10건을 해결한다는 게시물을 흥분해서 공유했습니다.
에르되시 문제
얼마 지나지 않아 OpenAI의 과학 담당 부사장인 케빈 와일과 다른 사람들이 합류하여 프로젝트를 홍보했습니다.
그러나 곧 진실이 드러났습니다.
이 열 가지 어려운 문제는 학계에서 오랫동안 해결되어 온 문제이며, GPT-5가 독자적으로 해결한 것이 아닙니다. GPT-5는 단순히 온라인 문헌 검색을 통해 답을 제시했을 뿐입니다.
이 소식은 큰 논란을 불러일으켰고, 구글 딥마인드 CEO인 데미스 하사비스조차도 "너무 어색하다"고 말했습니다.
또한 튜링상 수상자인 르쿤은 X에 플래시를 터뜨리며 "그냥 자기 발에 총알을 맞는 것과 마찬가지다(GPT)"라고 조롱했다.
GPT-5, 희극
이런 희극은 OpenAI 팀 스스로가 지휘하고 연기했다고 할 수 있습니다.
연구원인 마크 셀케와 메타브 소니는 논문에서 GPT-5가 문제를 해결했다고 주장하지 않았다는 점을 분명히 밝혔습니다.
원래 게시물에서는 GPT-5를 통해 수천 개의 쿼리를 실행한 후 에르되시 문제로 나열된 10개의 문제에 대한 해결책을 찾았다고 나와 있었습니다.
그 당시의 결과로 223, 339, 494, 515, 621, 822, 883, 903, 1043, 1079번 문제가 모두 해결되었고, 다른 11개 문제에서도 어느 정도 진전이 있었습니다.
반면에, 이 10가지 어려운 질문에 대한 답은 이미 존재하지만, 웹사이트 관리자가 이를 업데이트하지 않았습니다.
포털: https://www.erdosproblems.com/
왕립학회의 연구원이자 erdosproblems.com 웹사이트 운영자인 토마스 블룸은 이 사실을 몰랐습니다.
웹사이트에서 "공개" 상태는 그가 개인적으로 문제에 대한 해결책을 모른다는 것을 의미할 뿐, 과학계에서 아직 문제가 해결되지 않았다는 것을 의미하지는 않습니다.
간단히 말해, 두 가지 오해가 합쳐져 사람들에게 GPT-5가 에르되시 문제를 해결했다는 "환상"을 심어주었습니다.
한편으로는 문제가 해결되지 않은 것은 아니지만, 웹사이트 관리자들은 이 사실을 모르고 있습니다. 다른 한편으로는 GPT-5가 문헌 검색만으로 문제를 해결했을 뿐, 스스로 해결하지는 못했습니다.
세바스찬 부벡은 어색하게도 GPT-5는 단지 문헌에서 해결책을 찾았을 뿐이라고 대답했습니다.
그래도 문헌 검색이 얼마나 어려운지 알고 있기 때문에 매우 효율적이었습니다.
네티즌들 사이에서 뜨거운 논쟁이 벌어지고 있지만, 여전히 동료평가가 필요하다.
댓글 섹션의 큰 사람들은 앞줄에 앉아 쇼를 즐기고 있습니다.
이 토론을 통해 개발자 맷 마주르는 AI가 새로운 과학적 또는 수학적 결과를 발견했다는 주장에 대해서는 누구든 조심해야 한다는 점을 분명히 했습니다.
하이퍼볼릭의 창립자인 진유천은 "AI가 이뤄낸 과학/수학 분야의 새로운 발견에 대해서는 더 많은 동료 평가가 필요하다"고 말했습니다.
하지만 일부 사람들은 이것이 GPT-5에게는 부끄러운 일이 아니라고 생각합니다. GPT-5는 문헌 검색에서 매우 우수한 성능을 보이기 때문입니다.
며칠 전, 테렌스 타오도 "AI가 수학에서 진정한 역할을 하려면, 가장 어려운 문제를 해결하기 위해 가장 강력한 모델을 사용하는 것이 핵심이 아닐 수도 있다는 생각이 점점 더 든다"는 글을 썼습니다.
물론, 사람들이 대량 해시레이트 과 전문적인 노력을 투자했을 때 이런 경우가 가끔씩 발생합니다.
하지만 더 신뢰할 수 있는 접근 방식은 중간 수준의 AI 도구를 사용하여 연구에서 불가피한 사소하고 물리적인 작업을 처리하는 것입니다.
언제나 독창적인 AI 발견에 대해 신중을 기하는 것이 최우선 순위이지만, 이것이 AI 지원 과학 연구가 미래에 필요한 방향이 되는 것을 막지는 못합니다.
참고문헌:
https://x.com/SebastienBubeck/status/1979539604522127746
https://x.com/thomasfbloom/status/1979254235075059732
본 기사는 위챗 공개 계정 "신지위안" 에서 발췌하였으며, 저자는 도자이고, 36Kr.의 출판 허가를 받았습니다.
