암호화폐 업계에만 국한되었던 분산형 AI 실험이 엔비디아 CEO 젠슨 황의 공개적인 지지를 얻으면서, 분산형 모델 학습이 주류로 한 걸음 더 가까워지고 있음을 시사하고 있습니다.

엔비디아 CEO의 지지로 오픈소스 AI 열풍이 거세지고 있다.

차마트 팔리하피티야는 자신의 팟캐스트 '올인 팟캐스트'에서 비텐서의 코버넌트-72B를 집중 조명하며, 이를 탈중앙화 인공지능(AI)이 이론을 넘어 현실로 구현되는 구체적인 사례로 소개했습니다. 비텐서는 블록체인 기반의 탈중앙화 네트워크로서, 머신러닝 모델과 AI 컴퓨팅 자원이 교환되고 인센티브가 제공되는 P2P 마켓플레이스를 구축합니다.

팔리하피티야는 이 프로젝트를 간단하게 설명했습니다. 중앙 집중식 인프라 없이, 독립적인 기여자 네트워크를 통해 학습된 대규모 언어 모델(LLM)이라는 것입니다. 그는 "많은 사람들이 남는 컴퓨팅 자원을 활용하여 완전히 분산된 방식으로 40억 개의 매개변수를 가진 LLaMA 모델을 학습시키는 데 성공했다"며, 이를 "정말 놀라운 기술적 성과"라고 평가했습니다.

그 비교는 익숙한 비유로 귀결되었다. 팔리하피티야는 "무작위로 모인 사람들이 각자 조금씩 몫을 나눠 갖는 것"이라며, 전 세계의 유휴 하드웨어를 활용했던 초기 분산 컴퓨팅 프로젝트를 언급했다.

황 회장은 그 아이디어를 일축하지 않았다. 오히려 그는 AI 시장에 대한 더 넓은 관점을 제시하며, 분산형 접근 방식과 독점형 접근 방식이 상호 배타적이지 않다고 주장했다. "이 두 가지는 A냐 B냐의 문제가 아니라, A와 B가 공존하는 것입니다."라고 황 회장은 말했다. "이 점에 대해서는 의심의 여지가 없습니다."

이러한 이중적 관점은 AI 내부에서 점점 커지는 분열과 중복 현상을 반영합니다. 한쪽에는 ChatGPT, Claude, 제미니(Gemini) 와 같이 폐쇄적이고 고도로 완성도 높은 시스템이 있고, 다른 한쪽에는 개발자와 조직이 특정 요구 사항에 맞게 시스템을 맞춤 설정할 수 있는 개방적이고 분산된 모델이 있습니다.

황 대표는 두 가지 방향 모두 필수적이라고 분명히 밝혔습니다. 그는 "모델은 제품이 아니라 기술"이라며, 대부분의 사용자는 처음부터 직접 구축하기보다는 완성도 높은 범용 시스템을 계속 사용할 것이라고 지적했습니다.

동시에 그는 맞춤화가 선택 사항이 아닌 산업 분야들을 지적했습니다. 황은 "해당 분야의 전문 지식을 통제 가능한 방식으로 확보해야 하는 산업들이 많이 있습니다."라고 설명하며, "이는 오직 개방형 모델을 통해서만 가능합니다."라고 덧붙였습니다.

그 말은 비텐서의 전문 분야와 정확히 맞아떨어집니다. 비텐서의 서브넷 3(템플러)을 통해 개발된 코버넌트-72B는 중앙 기관 없이 표준 인터넷 연결을 통해 70명 이상의 참여자를 조율하는, 현재까지 가장 큰 규모의 분산형 학습 프로젝트 중 하나입니다.

기술적으로 이 모델은 한계를 뛰어넘습니다. 720억 개의 매개변수로 구축되고 약 1조 1천억 개의 토큰으로 학습된 이 모델은 압축 통신 프로토콜 및 분산 데이터 병렬 처리와 같은 혁신 기술을 활용하여 기존 데이터 센터 외부에서도 학습이 가능하도록 설계되었습니다.

성능 지표는 이 프로젝트가 단순히 실험적인 단계에 머무르지 않음을 시사합니다. 벤치마크 결과는 이 프로젝트가 기존의 중앙 집중식 모델들과 경쟁할 수 있는 수준임을 보여주며, 이는 암호화폐 분야 전문가를 넘어 더 넓은 관심을 끌어모으는 이유를 설명해 줍니다.

시장도 이를 알아챘습니다. 발표 이후, 팔리하피티야와 황의 영상이 소셜 미디어에 퍼지면서 프로젝트 토큰인 TAO는 24% 상승했습니다.

하지만 황의 발언은 진정한 핵심은 파괴적인 변화가 아니라 두 가지 방식의 공존임을 시사합니다. 독점 AI 시스템은 일반 사용자 시장에서 여전히 지배적인 위치를 차지할 가능성이 높지만, 개방형 및 분산형 모델은 특수 목적, 비용에 민감한 분야 또는 주권 확보가 중요한 분야에서 역할을 확대해 나갈 것입니다.

엔비디아 CEO는 스타트업을 위해 실용적인 전략을 제시했습니다. 바로 오픈소스로 시작한 다음, 독자적인 강점을 추가해 나가는 것입니다. 그는 "우리가 현재 투자하는 모든 스타트업은 오픈소스를 우선시하고, 그 후에 독자적인 모델로 전환한다"고 말했습니다.

다시 말해, 인공지능의 미래는 단 하나의 아키텍처나 철학에 달려 있지 않을 수도 있습니다. 오히려 이 둘 모두를 아우를 수 있고, 각각을 언제 사용해야 할지 아는 사람들에게 달려 있을지도 모릅니다.

자주 묻는 질문(FAQ) 🔎

• Bittensor의 Covenant-72B는 무엇인가요?
  중앙 집중식 인프라 없이 분산된 기여자 네트워크를 통해 학습된 720억 개 매개변수의 언어 모델.
• 젠슨 황은 분산형 AI에 대해 뭐라고 말했나요?
  그는 개방형 AI 모델과 독점 AI 모델이 공존할 것이라고 말하며, 두 모델의 관계를 "A와 B"의 관계로 묘사하면서 어느 하나를 선택해야 하는 문제가 아니라고 강조했습니다.
• 이러한 발전이 중요한 이유는 무엇일까요?
  이는 대규모 AI 모델을 기존 데이터 센터 외부에서도 학습시킬 수 있음을 보여주며, 인프라 필요성에 대한 기존의 가정에 의문을 제기합니다.
• 이것이 인공지능 산업에 어떤 영향을 미칠까요?
  이는 중앙 집중식 플랫폼과 분산형 모델이 산업 전반에 걸쳐 서로 다른 역할을 수행하는 하이브리드 미래를 지원합니다.