연구자들은 전 세계에 흩어진 대규모 언어 모델(LLM)을 GPU를 사용하여 개인 및 공개 데이터로 훈련시켰으며, 이는 인공지능 구축의 지배적인 방식이 파괴될 수 있음을 시사합니다.
플라워 AI와 바나라는 두 스타트업은 콜렉티브-1이라는 새로운 모델을 함께 개발했습니다.
플라워는 인터넷으로 연결된 수백 대의 컴퓨터에 걸쳐 훈련을 분산시키는 기술을 개발했습니다. 바나는 X, 레딧, 텔레그램의 개인 메시지를 포함한 데이터 소스를 제공했습니다.
콜렉티브-1은 현대 기준으로 작은 규모로, 70억 개의 매개변수를 가지고 있으며, 이는 ChatGPT, 클로드, 제미니(Gemini)와 같은 최신 모델의 수천억 개의 매개변수와 비교됩니다.
케임브리지 대학의 컴퓨터 과학자이자 플라워 AI의 공동 창립자인 닉 레인은 이 분산 접근 방식이 콜렉티브-1보다 훨씬 더 큰 규모로 확장될 수 있다고 말합니다. 그는 300억 개의 매개변수를 가진 모델을 훈련 중이며, 올해 말에는 업계 리더들과 비슷한 규모인 1000억 개의 매개변수를 가진 모델을 훈련할 계획이라고 밝혔습니다.
분산 모델 구축은 AI 산업의 권력 구조를 흔들 수 있습니다.
현재 AI 기업들은 대규모 훈련 데이터와 데이터센터의 고성능 GPU를 결합하여 모델을 구축합니다.
이 접근 방식은 가장 강력하고 가치 있는 모델을 개발할 수 있는 능력이 가장 부유한 기업과 강력한 칩에 접근할 수 있는 국가에 제한됩니다. 분산 접근 방식은 더 작은 기업과 대학들이 자원을 결합하여 고급 AI를 구축할 수 있게 해줄 수 있습니다.
레인은 AI 산업이 점점 더 데이터센터의 한계를 벗어나는 새로운 방법을 모색할 것이라고 믿습니다.
분산 AI 훈련은 강력한 AI 시스템을 구축하는 데 사용되는 계산 방식을 재고하는 것을 의미합니다.
이 새로운 접근 방식은 일반적으로 대규모 데이터센터 내에서 수행되는 작업을 멀리 떨어진 하드웨어에서 수행할 수 있게 해줍니다.
일부 주요 기업들도 분산 학습을 탐구하고 있습니다.
콜렉티브-1을 구축하기 위해 레인과 영국 및 중국의 학술 협력자들은 분산 훈련을 더욱 효율적으로 만드는 포톤이라는 새로운 도구를 개발했습니다.
바나는 사용자가 X와 레딧과 같은 플랫폼의 개인 데이터를 대규모 언어 모델 훈련에 기여할 수 있는 새로운 방법을 개발하고 있습니다.
분산 접근 방식의 주요 이점은 새로운 종류의 데이터를 활용할 수 있다는 것입니다.
분산 머신 러닝에 대해 어떻게 생각하시나요? 콜렉티브-1과 같은 모델에 데이터를 기여하시겠습니까? 의견을 알려주세요.
