탈중앙화 머신러닝(ML) 생태계가 성숙해짐에 따라 다양한 컴퓨팅 및 인텔리전스 네트워크 간에 시너지 효과가 나타날 가능성이 높습니다.
Sami Kassab, Messari 지음
편집자: BlockTurbo
지난 2주 동안 생성적 인공지능(AI) 분야는 끊임없이 획기적인 신제품 출시와 최첨단 통합 기술 도입으로 이슈 였습니다. OpenAI는 기대를 모았던 GPT-4 모델을, Midjourney는 최신 V5 모델을, Stanford는 Alpaca 7B 언어 모델을 출시했습니다. 한편, Google은 Workspace 제품군 전체에 생성적 AI를 도입했고, Anthropic은 AI 비서 Claude를 출시했으며, Microsoft는 강력한 생성적 AI 도구인 Copilot을 Microsoft 365 제품군에 통합했습니다.
기업들이 AI와 자동화의 가치와 시장에서 경쟁력을 유지하기 위해 이러한 기술을 도입해야 할 필요성을 깨닫기 시작하면서 AI 개발 및 도입 속도가 가속화되고 있습니다.
AI 개발은 순조롭게 진행되고 있는 것처럼 보이지만, 잠재적인 과제와 병목 현상은 여전히 해결해야 할 과제입니다. 더 많은 기업과 소비자가 AI를 수용함에 따라 컴퓨팅 병목 현상이 나타나고 있습니다. AI 시스템에 필요한 컴퓨팅 용량은 몇 달마다 두 배로 증가하는 반면, 컴퓨팅 리소스 공급은 이를 따라잡기 위해 고군분투하고 있습니다. 더욱이 대규모 AI 모델 학습 비용도 계속해서 급증하여 지난 10년 동안 매년 약 3,100%씩 증가하고 있습니다.
최첨단 인공지능 시스템을 개발하고 훈련하는 데 필요한 비용과 자원 요구량이 상승 따라 중앙 집중화가 심화되고 있으며, 연구 및 생산 모델은 대량 예산을 가진 기관에만 국한되고 있습니다. 그러나 여러 암호화폐 기반 프로젝트는 개방형 컴퓨팅과 머신러닝 네트워크를 활용하여 이러한 문제를 해결하기 위한 탈중앙화 솔루션을 구축하고 있습니다.
인공지능(AI) 및 머신러닝(ML)(ML) 기본
AI 분야는 어려울 수 있으며, 딥러닝, 신경망, 그리고 기반 모델과 같은 기술 용어는 복잡성을 가중시킵니다. 더 쉬운 이해를 위해 이러한 개념을 간략하게 설명하겠습니다.
- 인공지능은 인간의 지능이 필요한 인지, 추론, 의사 결정 등의 작업을 컴퓨터가 수행할 수 있도록 하는 알고리즘과 모델을 개발하는 컴퓨터 과학의 한 분야입니다.
- 머신러닝(ML)(ML)은 AI의 하위 집합으로, 데이터의 패턴을 인식하고 해당 패턴을 기반으로 예측을 수행하는 알고리즘을 훈련하는 것을 포함합니다.
- 딥 러닝은 입력 데이터를 분석하고 출력을 생성하기 위해 함께 작동하는 여러 계층의 상호 연결된 노드로 구성된 신경망을 사용하는 일종의 ML입니다.
ChatGPT 및 Dall-E와 같은 기본 모델은 대량 의 데이터를 기반으로 사전 학습된 대규모 딥러닝 모델입니다. 이러한 모델은 데이터 내의 패턴과 관계를 학습하여 원본 입력 데이터와 유사한 새로운 콘텐츠를 생성할 수 있습니다. ChatGPT는 자연어 텍스트를 생성하는 언어 모델이고, Dall-E는 새로운 이미지를 생성하는 이미지 모델입니다.
AI 및 ML 산업의 문제점
AI의 발전은 주로 세 가지 요인에 의해 주도됩니다.
- 알고리즘 혁신 : 연구자들은 AI 모델이 데이터를 보다 효율적이고 정확하게 처리하고 분석할 수 있도록 새로운 알고리즘과 기술을 끊임없이 개발하고 있습니다.
- 데이터 : AI 모델은 학습을 위한 연료로 대규모 데이터 세트를 사용하며, 이를 통해 데이터의 패턴과 관계로부터 학습할 수 있습니다.
- 컴퓨팅 : AI 모델을 훈련하는 데 필요한 복잡한 계산에는 대량 컴퓨팅 처리 능력이 필요합니다.
그러나 두 가지 주요 문제가 AI 개발을 저해하고 있습니다. 2021년에는 AI 기업들이 AI 개발 과정에서 직면한 가장 큰 과제는 데이터 접근성이었습니다. 작년에는 컴퓨팅 관련 문제가 데이터 접근성을 앞지르며, 특히 높은 수요로 인해 컴퓨팅 리소스에 대한 온디맨드 접근이 어려웠습니다.
두 번째 문제는 알고리즘 혁신의 비효율성과 관련이 있습니다. 연구자들이 기존 모델을 기반으로 점진적으로 모델을 개선해 나가는 동안, 이러한 모델에서 클레임 지능이나 패턴은 항상 손실됩니다.
이러한 문제를 더 자세히 살펴보겠습니다.
계산 병목 현상
기본적인 머신러닝(ML) 모델을 학습하려면 대량 리소스가 필요하며, 장시간 대량 GPU를 사용해야 하는 경우가 많습니다. 예를 들어, Stability.AI는 AI 모델을 학습하기 위해 AWS 클라우드에서 4,000개의 Nvidia A100 GPU를 구동해야 했으며, 이는 월 5천만 달러 이상의 비용이 소요되었습니다. 반면 OpenAI의 GPT-3는 1,000개의 Nvidia V100 GPU를 사용하여 1,200만 달러의 비용으로 학습되었습니다.
인공지능 기업들은 일반적으로 두 가지 선택에 직면합니다. 자체 하드웨어에 투자하고 확장성을 희생하거나, 클라우드 공급업체를 선택하고 프리미엄 비용을 지불하는 것입니다. 대기업은 후자를 감당할 수 있지만, 중소기업은 그럴 여유가 없을 수 있습니다. 자본 비용 상승 로 인해 스타트업은 클라우드 지출을 줄여야 하는 반면, 대형 클라우드 공급업체의 인프라 확장 비용은 거의 변동이 없습니다.
인공지능(AI)의 높은 연산 비용은 이 분야 발전을 추구하는 연구자와 기관에 상당한 장벽으로 작용합니다. 기존 컴퓨팅으로는 접근하기 어려운 ML 워크로드를 위한 저렴하고 온디맨드 방식의 서버리스 컴퓨팅 플랫폼이 절실히 필요합니다. 다행히 여러 암호화폐 프로젝트가 이러한 요구를 충족할 수 있는 탈중앙화 머신러닝(ML) 컴퓨팅 네트워크를 개발하기 위해 노력하고 있습니다.
비효율성과 협력 부족
인공지능 개발은 학계보다는 대형 기술 기업에서 비공개적으로 이루어지는 경우가 점점 더 많아지고 있습니다. 이러한 추세로 인해 해당 분야 내 협업이 줄어들었고, 마이크로소프트의 OpenAI와 구글의 DeepMind와 같은 기업들은 서로 경쟁하며 자사 모델을 비공개로 유지하고 있습니다.
이러한 협업 부족은 비효율성으로 이어집니다. 예를 들어, 독립적인 연구팀이 OpenAI의 GPT-4를 더욱 강력한 버전으로 개발하려면 모델을 처음부터 다시 학습해야 하는데, 이는 GPT-4가 학습한 모든 내용을 다시 학습하는 것과 마찬가지입니다. GPT-3 학습에만 1,200만 달러가 소요된다는 점을 고려하면, 이는 소규모 머신러닝 연구실을 불리하게 만들고 AI 개발의 미래를 대형 기술 기업의 통제 하에 더욱 심화시킵니다.
하지만 연구자들이 처음부터 시작하는 대신 기존 모델을 기반으로 구축하여 진입 장벽을 낮출 수 있다면 어떨까요? 연구자들이 다른 모델을 사용하여 모델을 학습시킬 수 있는 자유 시장 모델 조정 계층 역할을 하는, 협업을 장려하는 오픈 네트워크 있다면 어떨까요? 탈중앙화 머신 인텔리전스 프로젝트인 비텐서(Bittensor)가 이러한 유형의 네트워크를 구축하고 있습니다.
머신러닝(ML) 위한 분산 컴퓨팅 네트워크
탈중앙화 컴퓨팅 네트워크는 CPU 및 GPU 리소스를 네트워크에 기여하도록 장려함으로써 컴퓨팅 리소스를 필요로 하는 주체를 유휴 컴퓨팅 파워를 가진 시스템에 연결합니다. 개인이나 조직이 유휴 리소스를 제공하는 데 추가 비용이 발생하지 않으므로, 탈중앙화 네트워크는 중앙 집중식 공급자보다 더 저렴한 가격을 제공할 수 있습니다.
분산형 컴퓨팅 네트워크에는 범용 컴퓨팅 네트워크와 특수 컴퓨팅 네트워크, 두 가지 주요 유형이 있습니다. 범용 컴퓨팅 네트워크는 분산형 클라우드처럼 작동하여 다양한 애플리케이션에 컴퓨팅 리소스를 제공합니다. 반면, 특수 컴퓨팅 네트워크는 특정 사용 사례에 맞춰 설계되었습니다. 예를 들어, 렌더링 네트워크는 렌더링 워크로드에 중점을 둔 특수 컴퓨팅 네트워크입니다.
대부분의 ML 컴퓨팅 워크로드는 분산형 클라우드에서 실행할 수 있지만, 아래에 설명된 대로 일부는 특수 목적의 컴퓨팅 네트워크에 더 적합합니다.
머신러닝(ML) 컴퓨팅 워크로드
머신러닝(ML) 네 가지 주요 계산 작업 부하로 분류할 수 있습니다.
- 데이터 전처리 : 원시 데이터를 준비하고 ML 모델에서 사용할 수 있는 형식으로 변환하는 작업으로, 일반적으로 데이터 정리 및 정규화와 같은 활동이 포함됩니다.
- 학습 : 머신러닝(ML) 모델은 대규모 데이터 세트를 기반으로 학습되어 데이터 내 패턴과 관계를 학습합니다. 학습 과정에서 모델의 매개변수와 가중치는 오류를 최소화하도록 조정됩니다.
- 미세 조정 : ML 모델은 더 작은 데이터 세트를 사용하여 더욱 최적화되어 특정 작업의 성능을 개선할 수 있습니다.
- 추론 : 사용자 질의에 대한 응답으로 예측을 내리기 위해 훈련되고 미세 조정된 모델을 실행합니다.
데이터 전처리, 미세 조정 및 추론 워크로드는 Akash, Cudos, iExec과 같은 탈중앙화 클라우드 플랫폼에서 실행하는 데 적합합니다. 특히 탈중앙화 스토리지 네트워크인 Filecoin은 최근 업그레이드를 통해 Filecoin 가상 머신(FVM)을 지원하여 데이터 전처리에 특히 적합합니다. FVM 업그레이드는 네트워크에 저장된 데이터에 대한 연산을 지원하여 이미 FVM을 데이터 저장에 사용하고 있는 엔티티에게 더욱 효율적인 솔루션을 제공합니다.
머신러닝(ML) 전용 컴퓨팅 네트워크
훈련 부분에는 병렬화와 검증을 둘러싼 두 가지 과제로 인해 특수 목적의 컴퓨팅 네트워크가 필요합니다.
ML 모델의 학습은 상태 의존적입니다. 즉, 계산 결과가 현재 계산 상태에 따라 달라지므로 분산 GPU 네트워크 활용이 복잡해집니다. 따라서 ML 모델의 병렬 학습을 위해 특별히 설계된 네트워크가 필요합니다.
더 중요한 문제는 검증과 관련이 있습니다. 신뢰 최소화 ML 모델 학습 네트워크를 구축하려면 네트워크는 전체 계산을 반복하지 않고도 계산 작업을 검증할 수 있는 방법을 갖춰야 합니다. 이는 시간과 리소스를 낭비하는 일입니다.
젠신
Gensyn은 분산된 방식으로 학습 모델의 병렬화 및 검증 문제에 대한 해결책을 찾은 머신러닝 전용 계산 네트워크입니다. 이 프로토콜은 병렬화를 사용하여 대규모 계산 워크로드를 여러 작업으로 분할하고 이를 네트워크에 비동기적으로 푸시합니다. 검증 문제를 해결하기 위해 Gensyn은 확률적 학습 증명, 그래프 기반 정밀 위치 지정 프로토콜, 그리고 스테이킹 및 슬래싱 기반 인센티브 시스템을 사용합니다.
Gensyn 네트워크는 아직 출시되지 않았지만, 개발팀은 V100급 GPU를 사용하는 데 드는 비용이 네트워크에서 시간당 약 0.40달러가 될 것으로 예상합니다. 이 추정치는 합병 전 이더 채굴자들이 유사한 GPU를 사용하여 시간당 0.20달러에서 0.35달러의 수익을 올렸음을 기반으로 합니다. 이 추정치가 100% 정확하다고 하더라도, Gensyn의 컴퓨팅 비용은 AWS와 GCP가 제공하는 주문형 서비스보다 훨씬 저렴할 것입니다.
함께
Together는 머신러닝(ML) 위한 탈중앙화 컴퓨팅 네트워크 구축에 중점을 둔 또 다른 초기 단계 프로젝트입니다. Together는 스탠퍼드 대학교, 취리히 연방공과대학교, 오픈 사이언스 그리드, 위스콘신-매디슨 대학교, CrusoeCloud 등의 기관에서 사용되지 않는 학술 컴퓨팅 리소스를 통합하여 200페타플롭(PetaFLOP) 이상의 컴퓨팅 파워를 생성하는 것으로 시작되었습니다. Together의 궁극적인 목표는 전 세계의 컴퓨팅 리소스를 모아 누구나 첨단 AI에 기여하고 그 혜택을 누릴 수 있는 세상을 만드는 것입니다.
Bittensor: 탈중앙화 머신 인텔리전스
Bittensor는 표준화된 입력 및 출력 인코딩을 사용하여 모델 상호 운용성을 구현함으로써 오픈 소스 네트워크에서 지식 생산에 대한 인센티브를 제공함으로써 머신러닝(ML) 의 비효율성을 해결하는 동시에 연구자들의 협업 방식을 혁신합니다.
Bittensor에서 채굴자는 고유한 ML 모델을 통해 네트워크에 지능형 서비스를 제공하는 대가로 네트워크 고유 자산인 TAO를 보상으로 받습니다. 채굴자는 네트워크에서 모델을 학습하는 동안 다른 채굴자와 정보를 교환하여 학습 속도를 높입니다. TAO를 스테이킹함으로써 사용자는 Bittensor 네트워크 전체의 인텔리전스에 접근하고 필요에 따라 활동을 조정하여 P2P 인텔리전스 시장을 형성할 수 있습니다. 또한, 네트워크의 검증자를 통해 네트워크의 인텔리전스 계층 위에 애플리케이션을 구축할 수 있습니다.
Bittensor 작동 방식
비텐서는 분산형 전문가 혼합(MoE)을 구현하는 오픈소스 P2P 프로토콜입니다. MoE는 다양한 문제에 특화된 여러 모델을 결합하여 더욱 정확한 전체 모델을 생성하는 머신러닝 기법입니다. 이는 게이팅 계층이라고 불리는 라우팅 모델을 전문가 모델 집합에 학습시켜 입력을 지능적으로 라우팅하여 최적의 출력을 생성하는 방법을 학습함으로써 구현됩니다. 이를 위해 검증자는 상호 보완적인 모델들 간의 동맹을 동적으로 형성합니다. 희소 연산(sparse computation)은 지연 시간 병목 현상을 해결하는 데 사용됩니다.
비텐서의 인센티브 구조는 전문화된 모델들이 참여하여 이해관계자들이 정의한 더 큰 문제 해결에 있어 틈새 역할을 수행하도록 유도합니다. 각 채굴자는 고유한 모델(신경망)을 나타내며, 비텐서는 허가가 필요 없는 스마트 시장 시스템에 의해 관리되는 자기 조정 모델 네트워크로 운영됩니다.
이 프로토콜은 알고리즘에 구애받지 않습니다. 검증자는 단순히 잠금을 정의하고 시장이 키를 찾도록 허용합니다. 채굴자 정보는 유일하게 공유되고 측정되는 요소이며, 모델 자체는 비공개로 유지되어 측정에 대한 잠재적 편향을 제거합니다.
검증자
Bittensor에서 검증자는 네트워크의 MoE(MoE) 모델을 위한 게이팅 레이어 역할을 하며, 학습 가능한 API 역할을 하고 네트워크 상에서 애플리케이션 개발을 가능하게 합니다. 검증자의 스테이킹 인센티브 구조를 결정하고 채굴자가 어떤 문제를 해결해야 하는지 결정합니다. 검증자는 채굴자가 제공하는 가치를 이해하여 그에 따라 보상을 제공하고 순위에 대한 합의를 도출합니다. 순위가 높은 채굴자는 인플레이션 블록 보상에서 더 많은 점유율 차지합니다.
검증자는 상위 순위 채굴자와의 유대감을 형성하고 향후 보상의 일부를 받기 때문에 모델을 정직하고 효율적으로 발견하고 평가할 인센티브를 받습니다. 이는 채굴자가 채굴자 순위에 재정적으로 "유지"하는 메커니즘을 효과적으로 생성합니다. 이 프로토콜의 합의 메커니즘은 네트워크 지분의 최대 50%까지 담합을 방지하도록 설계되어 있어, 자신의 채굴자를 부정직하게 높은 순위로 평가하는 것은 재정적으로 불가능합니다.
갱부
네트워크의 채굴자들은 학습 및 추론을 통해, 각자의 전문성을 기반으로 동료들과 선택적으로 정보를 교환하고 그에 따라 모델 가중치를 업데이트합니다. 정보를 교환할 때, 채굴자들은 지분을 기준으로 검증자 요청의 우선순위를 정합니다. 현재 3,523명의 채굴자가 온라인에 접속해 있습니다.
비텐서 네트워크에서 채굴자 간의 정보 교환을 통해 채굴자는 동료의 전문 지식을 활용하여 자신의 모델을 개선할 수 있으므로 더욱 강력한 AI 모델을 개발할 수 있습니다. 이는 AI 분야에 구성 가능성을 제공하며, 다양한 머신러닝 모델을 연결하여 더욱 복잡한 AI 시스템을 구축할 수 있습니다.
복합 지능
비텐서는 새로운 시장을 통해 인센티브 비효율성을 해결하고, 머신러닝(ML) 학습의 효율성을 향상시키며 머신러닝(ML)의 지능을 효과적으로 강화합니다. 이 네트워크를 통해 개인은 기여의 규모나 틈새 시장에 관계없이 기반 모델에 기여하고 수익을 창출할 수 있습니다. 이는 인터넷이 틈새 시장 기여를 경제적으로 실현 가능하게 하고 유튜브와 같은 콘텐츠 플랫폼에서 개인에게 권한을 부여했던 것과 유사합니다. 본질적으로 비텐서는 머신러닝을 상품화하여 AI의 인터넷이 되는 데 전념합니다.
요약하다
탈중앙화 머신러닝(ML) 생태계가 성숙해짐에 따라 다양한 컴퓨팅 및 지능형 네트워크 간에 시너지 효과가 나타날 가능성이 높습니다. 예를 들어, Gensyn과 Together는 AI 생태계의 하드웨어 조정 계층 역할을 할 수 있으며, Bittensor는 지능형 조정 계층 역할을 할 수 있습니다.
공급 측면에서, 이전에 ETH를 채굴했던 대규모 공공 암호화폐 채굴자들은 탈중앙화 컴퓨팅 네트워크에 리소스를 기여하는 데 상당한 관심을 보였습니다. 예를 들어, 아카시(Akash)는 네트워크 GPU 출시 전에 대규모 채굴자들로부터 100만 개의 GPU 공급을 확보했습니다. 또한, 최대 규모의 민간 비트코인 채굴자 중 하나인 파운드리(Foundry)는 이미 비텐서(Bittensor)에서 채굴 시작했습니다.
이 보고서에서 논의되는 프로젝트를 뒷받침하는 팀은 단순히 과대광고를 위한 암호화폐 기반 네트워크를 구축하는 것이 아니라, 암호화폐가 해당 산업의 문제를 해결할 수 있는 잠재력을 갖고 있다는 것을 깨달은 AI 연구자와 엔지니어 팀입니다.
탈중앙화 ML 네트워크는 훈련 효율성을 개선하고, 리소스 풀링을 활성화하고, 더 많은 사람들에게 대규모 AI 모델에 기여할 수 있는 기회를 제공함으로써 AI 개발을 가속화하고 미래에 일반 인공 지능을 더 빠르게 구현할 수 있도록 해줍니다.
