AI의 다음 도약은 예정대로 보고되지 않는 것 같습니다.
현지 시간 20일, 《월스트리트저널》에 따르면 OpenAI의 차세대 인공지능 프로젝트 GPT-5(코드명 Orion)가 많은 어려움에 직면하고 있습니다. 이 프로젝트는 이미 18개월 이상 개발되었고 막대한 비용이 투입되었지만, 아직 기대한 성과를 거두지 못했습니다.
관계자에 따르면 OpenAI의 최대 투자자인 마이크로소프트는 원래 2024년 중반경 새로운 모델을 볼 수 있을 것으로 예상했습니다. OpenAI는 최소 두 차례 대규모 학습을 진행했지만, 매번 새로운 문제가 발생하여 연구원들이 기대한 결과를 얻지 못했습니다.
분석가들은 세계에 충분한 데이터가 없어 충분히 똑똑해지기 어려울 것이라고 말합니다.
천문학적 비용에도 불구하고 GPT-5 프로젝트 진척이 더딥니다
분석가들은 향후 몇 년 내 기술 기업들이 인공지능 프로젝트에 1조 달러를 투자할 것으로 예상했습니다. 또한 GPT-5의 6개월 학습 비용만 약 5억 달러에 달할 것으로 추정됩니다. OpenAI의 CEO 샘 알트만은 향후 AI 모델 비용이 10억 달러를 넘어설 것이라고 말했습니다.
그러나 프로젝트 관계자는 다음과 같이 말했습니다:
"Orion의 성능이 OpenAI의 현재 제품보다 향상되었지만, 막대한 운영 비용을 정당화하기에는 아직 부족합니다."
10월에 OpenAI에 1570억 달러의 가치를 부여한 투자자들은 주로 알트만의 예측에 기반했습니다. 그는 GPT-5가 "획기적인 도약"이 될 것이라고 말했고, GPT-4가 똑똑한 고등학생 수준이라고 했지만, 실제 GPT-5는 일부 작업에서 박사 학위 수준일 것이라고 했습니다.
보고서에 따르면 GPT-5는 새로운 과학적 발견을 열어 줄 것이며, 예약이나 항공편 예약 등 일상적인 인간 작업을 수행할 수 있을 것으로 기대됩니다. 연구원들은 현재 모델보다 실수가 적거나 최소한 "의심"을 표현할 수 있기를 희망하고 있습니다.
그러나 "충분히 똑똑한 AI"가 되는 기준은 아직 정해지지 않았으며, 대부분 직감에 의존하고 있습니다.
지금까지 개발 중인 <후오비 토큰(HT)>은 아직 충분히 강력하지 않은 것으로 보입니다. 알트만은 11월에 "2024년 내에 <후오비 토큰(HT)>이라는 이름의 제품을 출시하지 않을 것"이라고 밝혔습니다.
데이터 부족이 주요 병목 현상
막대한 투자가 물거품이 되지 않도록 연구원들은 소규모 시험 운영을 통해 실패 가능성을 최소화하려 노력하고 있습니다.
그러나 <후오비 토큰(HT)> 계획에는 처음부터 문제가 있었던 것 같습니다. 2023년 중반, OpenAI는 Orion의 제안된 새로운 설계를 테스트하는 학습 실행을 시작했습니다. 그러나 이 과정이 더딘 것으로 보아, 대규모 학습에는 매우 긴 시간이 필요할 것이며 이에 따라 비용이 천문학적으로 증가할 것으로 보입니다.
OpenAI 연구원들은 Orion을 강화하기 위해 기술 조정을 시도했고, 더 많은 고품질 다양한 데이터가 필요하다는 것을 발견했습니다. 모델 테스트는 지속적인 과정이며, 대규모 학습 실행에는 수개월이 소요되고 수천억 개의 토큰이 모델에 "공급"됩니다.
그러나 공개 인터넷의 뉴스 기사, 소셜 미디어 게시물, 과학 논문 등의 데이터로는 수요를 충족하기 어려운 상황입니다. 의 CEO 아리 모르코스는 다음과 같이 말했습니다:
"이는 매우 비싸며 동등한 품질의 데이터를 더 찾기 어렵습니다."
이 문제를 해결하기 위해 OpenAI는 데이터를 처음부터 만들기로 했습니다. 그들은 소프트웨어 엔지니어와 수학자 등 전문가를 고용하여 새로운 코드를 작성하거나 수학 문제를 해결하고, 이를 학습 데이터로 사용하고 있습니다.
또한 이 회사는 이론 물리학 등 다양한 분야의 전문가와 협력하여 가장 까다로운 문제를 해결하는 방법을 설명하고 있지만, 이 과정은 매우 느립니다. <옵티미즘(OP)>의 학습에는 약 13조 개의 토큰이 사용되었습니다. 1000명이 매일 5000자씩 쓴다고 해도 수개월 내에 겨우 10억 개의 토큰만 생산할 수 있습니다.
OpenAI는 또한 "합성 데이터"를 개발하여 <알위브(AR)>의 학습에 AI 생성 데이터를 사용함으로써 오류를 피하고자 합니다.
구글이 따라잡고 있는 가운데, OpenAI는 어려움에 봉착했나?
올해 구글이 가장 인기 있는 새로운 애플리케이션 NotebookLM을 출시하면서 OpenAI는 더욱 당황하고 있습니다.
Orion의 정체로 인해 회사는 정제된 <옵티미즘(OP)>와 <온톨로지가스(ONG)>와 같은 다른 프로젝트와 애플리케이션을 개발하기 시작했습니다. 그러나 관계자에 따르면 이로 인해 새로운 제품 개발 팀과 Orion 연구원 간에 제한된 컴퓨팅 자원을 두고 경쟁이 발생했습니다.
또한 OpenAI는 더 발전된 추론 모델을 개발하고 있는데, AI가 "더 오랫동안 생각"하면 지금까지 경험하지 못한 복잡한 문제를 해결할 수 있을 것으로 믿고 있습니다.
그러나 이러한 새로운 전략도 도전에 직면하고 있습니다. 애플 연구원들은 OpenAI의 <온톨로지가스(ONG)>를 포함한 추론 모델이 단순히 학습 데이터를 모방할 뿐 새로운 문제를 실제로 해결하지 못할 가능성이 크다고 밝혔습니다. 또한 <온톨로지가스(ONG)>가 여러 답변을 생성하는 방식은 운영 비용을 크게 늘리고 있습니다.
그럼에도 불구하고 OpenAI는 <트론(TRON)> 개발을 계속 추진하고 있습니다. 지난 금요일 알트만은 이전 어떤 제품보다 더 똑똑한 새로운 추론 모델 계획을 발표했지만, 언제 또는 <후오비 토큰(HT)>이라고 불릴 모델을 출시할지는 밝히지 않았습니다.
본 기사는 개인 투자 조언이 아니며, 플랫폼의 견해를 대변하지 않습니다. 시장에는 리스크가 있으므로 투자 시 주의가 필요하며, 독립적인 판단과 결정을 해야 합니다.
본 기사는 WeChat 공众号 "华尔街见闻"에서 발췌했으며, 저자는 황문문이고 36氪의 승인을 받아 게재되었습니다.
