OpenAI와 다른 선도적인 AI 기업들은 현재 방법의 한계를 극복하기 위해 새로운 훈련 기술을 개발하고 있습니다. 더 큰 규모의 강력한 언어 모델 개발에서 예기치 않은 지연과 복잡성을 해결하기 위해, 이러한 새로운 기술은 알고리즘에게 '사고'하는 법을 가르치기 위해 인간과 유사한 행동에 초점을 맞추고 있습니다.
약 12명의 AI 연구원, 과학자, 투자자들이 이끄는 것으로 알려진 새로운 훈련 기술은 OpenAI의 최근 'o1' 모델(이전의 Q* 및 Strawberry)의 기반이 되며, AI 개발 환경을 변화시킬 잠재력을 가지고 있습니다. 보고된 진전은 AI 기업들이 지속적으로 필요로 하는 전문 하드웨어와 에너지와 같은 자원의 유형이나 양에 영향을 미칠 수 있습니다.
o1 모델은 인간의 추론과 사고 방식을 모방하여 다양한 과제를 단계로 분해하는 방식으로 문제에 접근하도록 설계되었습니다. 또한 이 모델은 AI 업계 전문가가 제공한 특수 데이터와 피드백을 활용하여 성능을 향상시킵니다.
2022년 OpenAI가 ChatGPT를 공개한 이후 AI 혁신이 급증했으며, 많은 기술 기업들이 기존 AI 모델이 더 많은 데이터나 향상된 컴퓨팅 자원을 통해 확장되어야 한다고 주장하고 있습니다. 그래야만 AI 모델이 지속적으로 발전할 수 있습니다.
이제 AI 전문가들은 AI 모델 확장에 한계가 있다고 보고하고 있습니다. 2010년대는 확장을 위한 혁명적인 시기였지만, AI 연구소 Safe Superintelligence(SSI)와 OpenAI의 공동 설립자 Ilya Sutskever는 언어 구조와 패턴 이해에 중점을 둔 AI 모델 훈련이 정체되고 있다고 말했습니다.
"2010년대는 확장의 시대였지만, 이제 우리는 다시 경이와 발견의 시대로 돌아왔습니다. 올바른 것을 확장하는 것이 지금 더 중요합니다."라고 그들은 말했습니다.
최근 AI 연구소 연구원들은 OpenAI의 GPT-4 모델보다 강력한 대규모 언어 모델(LLM) 개발 및 출시에 지연과 어려움을 겪고 있습니다.
첫째, 대규모 모델 훈련 비용이 수천만 달러에 달합니다. 그리고 시스템 복잡성으로 인한 하드웨어 고장 등 발생하는 복잡한 문제로 인해 이러한 모델의 최종 분석에 수개월이 걸릴 수 있습니다.
이러한 과제 외에도 훈련 실행에는 막대한 양의 에너지가 필요하여 전력 부족으로 프로세스가 중단되고 전력망에 영향을 미칠 수 있습니다. 또 다른 문제는 대규모 언어 모델이 사용하는 방대한 데이터량으로, AI 모델이 전 세계적으로 접근 가능한 모든 데이터를 소진했다고 합니다.
연구원들은 현재 AI 모델의 성능을 향상시키기 위해 '테스트 시간 컴퓨팅' 기술을 탐구하고 있습니다. 이 방법은 실시간으로 다양한 답변을 생성하여 최적의 솔루션 범위를 결정하는 것을 포함할 수 있습니다. 따라서 모델은 인간과 유사한 의사 결정과 추론이 필요한 어려운 과제에 더 많은 처리 자원을 할당할 수 있습니다. 목표는 모델의 정확성과 능력을 높이는 것입니다.
o1 모델 개발에 참여한 OpenAI 연구원 Noam Brown은 새로운 접근법이 놀라운 결과를 달성할 수 있는 예를 공유했습니다. 지난 달 샌프란시스코에서 열린 TED AI 컨퍼런스에서 Brown은 "포커 게임에서 봇이 20초 동안 생각하는 것이 모델을 100,000배 확장하고 100,000배 더 오래 훈련하는 것만큼의 성능 향상을 가져왔다"고 설명했습니다.
단순히 모델 크기와 훈련 시간을 늘리는 것이 아니라, 이러한 접근법은 AI 모델이 정보를 처리하는 방식을 변화시켜 더 강력하고 효율적인 시스템을 만들 수 있습니다.
다른 AI 연구소들도 o1 기술의 버전을 개발하고 있는 것으로 알려졌습니다. 여기에는 xAI, Google DeepMind, Anthropic이 포함됩니다. AI 세계의 경쟁은 새로운 것이 아니지만, 새로운 기술로 인해 AI 하드웨어 시장에 상당한 영향을 미칠 수 있습니다. 현재 제품 수요가 높아 AI 칩 공급을 주도하고 있는 Nvidia와 같은 기업이 특히 영향을 받을 수 있습니다.
Nvidia는 지난 10월 세계에서 가장 가치 있는 기업이 되었으며, 이는 주로 AI 배열에서 사용되는 자사 칩 덕분입니다. 새로운 기술은 Nvidia의 시장 지위에 영향을 미쳐 진화하는 AI 하드웨어 수요에 맞추어 제품을 적응시켜야 할 수 있습니다. 이는 추론 시장에서 새로운 경쟁자들이 더 많은 기회를 얻을 수 있게 할 수 있습니다.
하드웨어 수요 변화와 o1 모델에 적용된 것과 같은 더 효율적인 훈련 방법으로 인해 새로운 AI 개발 시대가 열릴 수 있습니다. AI 모델과 이를 개발하는 기업의 미래가 재편되어 전례 없는 가능성과 더 큰 경쟁이 열릴 수 있습니다.
관련 기사: Anthropic, AI 재앙 방지를 위한 규제 촉구
업계 리더들로부터 AI와 빅데이터에 대해 더 자세히 알아보고 싶으신가요? AI & Big Data Expo에 참석해 보세요. 암스테르담, 캘리포니아, 런던에서 개최되는 이 종합 행사는 Intelligent Automation Conference, BlockX, Digital Transformation Week와 같은 다른 주요 행사와 함께 개최됩니다.
이 기사는 AI News에 처음 게재되었습니다.
