작성자: IOSG 벤처스
Zhenyang@Upshot, Fran@Giza, Ashely@Neuronets, Matt@Valence, Dylan@Pond의 피드백에 감사드립니다.
본 연구의 목표는 인공지능의 어떤 영역이 개발자에게 가장 중요한지, Web3 및 인공지능 분야에서 다음 폭발적인 기회가 될 수 있는 영역은 무엇인지 탐색하는 것입니다.
새로운 연구 관점 공유하기 전에, 우선 총 500만 달러에 달하는 RedPill의 첫 번째 융자 에 참여하게 되어 매우 기쁩니다. 또한 앞으로 RedPill과 함께 성장할 수 있기를 기대합니다!
TL;DR
암호화폐 세계에서 Web3와 AI의 결합이 화두가 되면서 암호화폐 세계에서는 AI 인프라 구축이 활발해졌지만 실제로 AI를 활용하거나 AI를 위해 구축하는 애플리케이션은 많지 않고 균질화 문제도 있습니다. AI 인프라가 점차 등장하고 있습니다. 최근 RedPill의 첫 번째 융자 에 참여하면서 더 깊은 이해가 촉발되었습니다.
- AI Dapp 구축을 위한 주요 도구에는 탈중앙화 OpenAI 액세스, GPU 네트워크, 추론 네트워크 및 에이전트 네트워크가 포함됩니다.
- GPU 네트워크가 "비트코인 채굴 기간"보다 더 이슈 있는 이유는 AI 시장이 더 크고 빠르고 꾸준히 성장하고 있기 때문입니다. AI에는 다양한 GPU 모델과 서버 위치가 필요합니다. 기술은 과거보다 성숙해졌으며 더 넓은 고객 기반을 목표로 하고 있습니다.
- 추론 네트워크와 에이전트 네트워크는 인프라가 비슷하지만 초점이 다릅니다. 추론 네트워크는 주로 숙련된 개발자가 자신의 모델을 배포하기 위한 것이며, LLM이 아닌 모델을 실행하는 데 반드시 GPU가 필요한 것은 아닙니다. 에이전트 네트워크는 LLM에 더 중점을 두고 있습니다. 개발자는 자신의 모델을 가져올 필요가 없지만 신속한 엔지니어링과 다양한 에이전트를 연결하는 방법에 더 중점을 둡니다. 프록시 네트워크에는 항상 고성능 GPU가 필요합니다.
- AI 인프라 프로젝트의 전망은 엄청나며, 새로운 기능이 계속해서 출시되고 있습니다.
- 대부분의 기본 암호화 프로젝트는 아직 테스트 네트워크 단계에 있으며 안정성이 낮고 구성이 복잡하며 기능이 제한되어 있어 보안과 개인 정보 보호를 입증하는 데 여전히 시간이 걸립니다.
- AI Dapp이 큰 추세가 된다고 가정하더라도 모니터링, RAG 관련 인프라, Web3 기본 모델, 암호화된 기본 API 및 데이터가 내장된 탈중앙화 에이전트, 평가 네트워크 등 아직 개발되지 않은 영역이 많이 있습니다.
- 수직적 통합은 중요한 추세입니다. 인프라 프로젝트는 AI Dapp 개발자의 업무를 단순화하기 위해 원스톱 서비스 제공을 시도한다.
- 미래는 하이브리드가 될 것이다. 추론의 일부는 프런트 엔드에서 수행되고 일부는 온체인 계산되므로 비용 및 검증 가능성을 고려할 수 있습니다.
출처:IOSG
소개
- Web3와 AI의 결합은 현재 암호화 분야에서 가장 인기 있는 주제 중 하나입니다. 재능 있는 개발자들은 암호화폐 세계를 위한 AI 인프라를 구축하고 스마트 계약에 인텔리전스를 도입하기 위해 노력하고 있습니다. AI dApp을 구축하는 것은 매우 복잡한 작업이며 개발자는 데이터, 모델, 컴퓨팅 성능, 운영, 배포 및 블록체인과의 통합을 처리해야 합니다. 이러한 요구에 부응하여 Web3 창립자는 GPU 네트워크, 커뮤니티 데이터 주석, 커뮤니티 교육 모델, 검증 가능한 AI 추론 및 교육, 에이전트 저장소와 같은 많은 예비 솔루션을 개발했습니다.
- 이러한 급성장하는 인프라를 배경으로 실제로 AI를 활용하거나 AI용으로 구축된 애플리케이션은 많지 않습니다. 개발자가 AI dApp 개발 튜토리얼을 찾을 때 기본 암호화 AI 인프라와 관련된 튜토리얼이 많지 않다는 것을 알게 됩니다. 대부분의 튜토리얼에는 프런트 엔드에서 OpenAI API를 호출하는 것만 포함됩니다.
출처:IOSG벤처스
- 현재 애플리케이션은 블록체인의 탈중앙화 검증 가능한 기능을 최대한 활용하지 못하지만 이는 곧 바뀔 것입니다. 현재 암호화 분야를 중심으로 한 대부분의 인공지능 인프라는 테스트 네트워크를 출시했으며 향후 6개월 내로 정식 운영할 예정이다.
- 본 연구에서는 암호화폐 공간의 인공 지능 인프라에서 사용할 수 있는 주요 도구를 자세히 설명합니다. 암호화폐 세계의 GPT-3.5 순간을 준비합시다!
1. RedPill: OpenAI에 대한 탈중앙화 인증 제공
앞서 말씀드렸던 것처럼 저희가 참여한 RedPill이 좋은 소개 포인트입니다.
OpenAI는 고급 인공 지능 Dapp 구축을 위한 첫 번째 선택인 GPT-4-vision, GPT-4-turbo 및 GPT-4o와 같은 세계적 수준의 강력한 모델을 보유하고 있습니다.
개발자는 오라클 또는 프런트엔드 인터페이스를 통해 OpenAI API를 호출하여 이를 dApp에 통합할 수 있습니다.
RedPill은 다양한 개발자의 OpenAI API를 하나의 인터페이스로 통합하여 빠르고 저렴하며 검증 가능한 인공 지능 서비스를 전 세계 사용자에게 제공함으로써 최고의 인공 지능 모델 리소스에 대한 액세스를 민주화합니다. RedPill의 라우팅 알고리즘은 개발자 요청을 단일 기여자에게 전달합니다. API 요청은 배포 네트워크를 통해 실행되므로 OpenAI의 가능한 제한 사항을 우회하여 암호화폐 개발자가 직면하는 다음과 같은 몇 가지 일반적인 문제를 해결합니다.
- TPM(분당 토큰 수) 제한: 새 계정은 토큰 사용이 제한되어 있어 이슈 AI 종속 dApp의 요구 사항을 충족할 수 없습니다.
- 액세스 제한: 일부 모델은 새 계정이나 특정 국가에 대한 액세스를 제한합니다.
동일한 요청 코드를 사용하지만 호스트 이름을 변경함으로써 개발자는 저렴한 비용으로 높은 확장성과 제한 없이 OpenAI 모델에 액세스할 수 있습니다.
2. GPU 네트워크
OpenAI의 API를 사용하는 것 외에도 많은 개발자는 집에서 자신의 모델을 호스팅하기로 선택합니다. io.net, Aethir, Akash 및 기타 널리 사용되는 네트워크와 같은 탈중앙화 GPU 네트워크를 사용하여 GPU 클러스터를 구축하고 다양하고 강력한 내부 또는 오픈 소스 모델을 배포 및 실행할 수 있습니다.
이러한 탈중앙화 GPU 네트워크는 개인 또는 소규모 데이터 센터의 컴퓨팅 성능을 활용하여 유연한 구성, 더 많은 서버 위치 옵션 및 저렴한 비용을 제공하므로 개발자는 제한된 예산 내에서 AI 관련 작업을 쉽게 수행할 수 있습니다. 그러나 탈중앙화 특성으로 인해 이러한 GPU 네트워크에는 기능, 유용성 및 데이터 개인 정보 보호 측면에서 여전히 특정 제한이 있습니다.
GPU에 대한 수요는 지난 몇 달 동안 이전의 비트코인 채굴 붐을 능가하면서 급증했습니다. 이 동작의 이유는 다음과 같습니다.
- 대상 고객의 수가 증가했으며 이제 GPU 네트워크는 숫자가 많을 뿐만 아니라 충성도가 더 높고 암호화폐 가격 변동에 영향을 받지 않는 AI 개발자에게 서비스를 제공합니다.
- 채굴 전용 장비에 비해 탈중앙화 GPU는 요구 사항을 더 잘 충족할 수 있는 더 많은 모델과 사양을 제공합니다. 특히 대규모 모델 처리에는 더 높은 VRAM이 필요한 반면, 소규모 작업에는 더 적합한 GPU 옵션이 필요합니다. 동시에 탈중앙화 GPU는 가까운 거리에서 최종 사용자에게 서비스를 제공하고 대기 시간을 줄일 수 있습니다.
- 기술이 점점 성숙해짐에 따라 GPU 네트워크는 Solana 결제, Docker 가상화 기술 및 Ray 컴퓨팅 클러스터와 같은 고속 블록체인에 의존합니다.
- 투자 수익 측면에서 AI 시장은 새로운 애플리케이션과 모델에 대한 많은 개발 기회로 확장되고 있으며, H100 모델의 예상 수익은 60~70%인 반면, 비트코인 채굴 더 복잡하고 승자가 독식적입니다. , 생산이 제한되어 있습니다.
- 아이리스에너지(Iris Energy), 코어사이언티픽(Core Scientific), 비트디어(Bitdeer) 등 비트코인 채굴 업체들도 GPU 네트워크 지원과 AI 서비스 제공, H100 등 AI용 GPU 구매도 활발히 시작했다.
권장 사항: SLA에 큰 관심을 기울이지 않는 Web2 개발자의 경우 io.net은 간단하고 사용하기 쉬운 환경을 제공하며 비용 효율적인 선택입니다.
3. 추론 네트워크
이것이 암호화폐 AI 인프라의 핵심입니다. 이는 향후 수십억 건의 AI 추론 작업을 지원할 것입니다. 많은 AI 레이어1 또는 레이어2는 개발자에게 온체인 에서 기본적으로 AI 추론을 호출할 수 있는 기능을 제공합니다. 시장 리더로는 Ritual, Valence 및 Fetch.ai가 있습니다.
이러한 네트워크는 다음과 같은 차이점이 있습니다.
- 성능(지연 시간, 계산 시간)
- 지원되는 모델
- 검증가능성
- 가격(온체인 소비비용, 추론비용)
- 개발 경험
3.1 목표
이상적인 상황은 개발자가 통합 프로세스에 거의 장애물 없이 어떤 형태의 증명을 통해 어디서나 쉽게 맞춤형 AI 추론 서비스에 액세스할 수 있다는 것입니다.
추론 네트워크는 주문형 증명 생성 및 검증, 추론 계산 수행, 추론 데이터 중계 및 검증, Web2 및 Web3 인터페이스 제공, 원클릭 모델 배포, 시스템 모니터링, 크로스체인 운영, 동기화 통합 및 예약 실행 기능.
출처:IOSG벤처스
이러한 기능을 통해 개발자는 추론 서비스를 기존 스마트 계약에 원활하게 통합할 수 있습니다. 예를 들어 DeFi 거래 로봇을 구축할 때 이러한 로봇은 머신러닝(ML) 모델을 사용하여 특정 거래 쌍에 대한 구매 및 판매 기회를 찾고 기본 거래 플랫폼에서 해당 거래 전략을 실행합니다.
완전히 이상적인 세상에서는 모든 인프라가 클라우드에 호스팅됩니다. 개발자는 토치와 같은 일반적인 형식으로 거래 전략 모델을 업로드하기만 하면 추론 네트워크가 Web2 및 Web3 쿼리에 대한 모델을 저장하고 제공합니다.
모든 모델 배포 단계가 완료된 후 개발자는 Web3 API 또는 스마트 계약을 통해 모델 추론을 직접 호출할 수 있습니다. 추론 네트워크는 이러한 거래 전략을 지속적으로 실행하고 결과를 기본 스마트 계약에 다시 공급합니다. 개발자가 대규모 커뮤니티 자금을 관리하는 경우 추론 결과에 대한 검증도 필요하다. 추론 결과가 수신되면 스마트 계약은 이러한 결과를 기반으로 거래를 수행합니다.
출처:IOSG벤처스
3.1.1 비동기식 및 동기식
이론적으로 추론 작업을 비동기적으로 실행하면 성능이 향상될 수 있지만 이 접근 방식은 개발 환경에서 불편할 수 있습니다.
비동기식 방법을 사용하는 경우 개발자는 먼저 추론 네트워크의 스마트 계약에 작업을 제출해야 합니다. 추론 작업이 완료되면 추론 네트워크의 스마트 계약이 결과를 반환합니다. 이 프로그래밍 모델에서 논리는 추론 호출과 추론 결과 처리라는 두 부분으로 나뉩니다.
출처:IOSG벤처스
개발자가 중첩된 추론 호출과 대량 제어 논리를 사용하는 경우 상황은 더욱 악화됩니다.
출처:IOSG벤처스
비동기식 프로그래밍 모델은 기존 스마트 계약과의 통합을 어렵게 만듭니다. 이를 위해서는 개발자가 대량 추가 코드를 작성하고, 오류를 처리하고, 종속성을 관리해야 합니다.
이와 대조적으로 동기식 프로그래밍은 개발자에게 더 직관적이지만 응답 시간과 블록체인 설계에 문제가 발생합니다. 예를 들어, 입력 데이터가 블록 시간이나 가격 등 빠르게 변화하는 데이터인 경우 추론이 완료된 후 데이터가 더 이상 최신 상태가 아니므로 특정 상황에서 스마트 계약 실행을 롤백해야 할 수 있습니다. 당신이 시대에 뒤떨어진 가격에 거래하고 있다고 상상해 보십시오.
출처:IOSG벤처스
대부분의 AI 인프라는 비동기식 처리를 사용하지만 Valence는 이러한 문제를 해결하려고 노력하고 있습니다.
3.2 현실적인 상황
실제로 Ritual 네트워크와 같은 많은 새로운 추론 네트워크는 아직 테스트 단계에 있습니다. 공개 문서에 따르면 이러한 네트워크는 현재 기능이 제한되어 있습니다(검증 및 증명과 같은 기능은 아직 온라인 상태가 아닙니다). 그들은 현재 온체인 AI 계산을 지원하기 위한 클라우드 인프라를 제공하지 않지만 대신 자체 호스팅 AI 계산을 위한 프레임 제공하고 결과를 온체인 으로 전달합니다.
AIGC NFT를 실행하는 아키텍처입니다. 확산 모델은 NFT를 생성하여 Arweave에 업로드합니다. 추론 네트워크는 이 Arweave 주소를 사용하여 온체인 에서 NFT를 민트.
출처:IOSG벤처스
이 프로세스는 매우 복잡하며 개발자는 맞춤형 서비스 로직을 갖춘 Ritual 노드, Stable Diffusion 노드 및 NFT 스마트 계약과 같은 대부분의 인프라를 자체적으로 배포하고 유지 관리해야 합니다.
권장 사항: 현재 추론 네트워크는 사용자 지정 모델을 통합하고 배포하는 과정이 상당히 복잡하며, 이 단계에서는 대부분의 네트워크가 아직 검증 기능을 지원하지 않습니다. 프런트 엔드에 AI 기술을 적용하면 개발자에게는 비교적 간단한 선택이 제공됩니다. 유효성 검사 기능이 정말로 필요하다면 ZKML 제공업체인 Giza가 좋은 선택입니다.
4. 프록시 네트워크
프록시 네트워크를 통해 사용자는 프록시를 쉽게 사용자 정의할 수 있습니다. 이러한 네트워크는 인간의 직접적인 개입 없이 자동으로 작업을 수행하고, 서로 통신하고, 블록체인 네트워크와 상호 작용할 수 있는 엔터티 또는 스마트 계약으로 구성됩니다. 주로 LLM 기술을 대상으로 합니다. 예를 들어, 이더 에 대한 심층적인 지식을 갖춘 GPT 챗봇을 제공할 수 있습니다. 이러한 종류의 챗봇을 위한 현재 도구는 상대적으로 제한되어 있으며 개발자는 아직 이를 기반으로 복잡한 애플리케이션을 개발할 수 없습니다.
출처:IOSG벤처스
그러나 앞으로 에이전트 네트워크는 지식뿐만 아니라 외부 API를 호출하고 특정 작업을 수행하는 기능 등 에이전트가 사용할 수 있는 더 많은 도구를 제공할 것입니다. 개발자는 여러 에이전트를 함께 연결하여 워크플로를 구축할 수 있습니다. 예를 들어 Solidity 스마트 계약을 작성하려면 프로토콜 설계 에이전트, Solidity 개발 에이전트, 코드 보안 검토 에이전트 및 Solidity 배포 에이전트를 포함한 여러 전문 에이전트가 필요합니다.
출처:IOSG벤처스
우리는 프롬프트와 시나리오를 사용하여 이러한 에이전트의 협력을 조정합니다.
프록시 네트워크의 예로는 Flock.ai, Myshell, Theoriq 등이 있습니다.
권장 사항: 오늘날 대부분의 프록시는 상대적으로 기능이 제한되어 있습니다. 특정 사용 사례의 경우 Web2 프록시는 Langchain 및 Llamaindex와 같은 성숙한 조정 도구를 더 잘 제공하고 보유할 수 있습니다.
5. 에이전트 네트워크와 추론 네트워크의 차이점
에이전트 네트워크는 LLM에 더 중점을 두고 Langchain과 같은 도구를 제공하여 여러 에이전트를 통합합니다. 일반적으로 개발자는 머신러닝(ML) 모델을 직접 개발할 필요가 없으며 에이전트 네트워크는 모델 개발 및 배포 프로세스를 단순화했습니다. 필요한 에이전트와 도구를 연결하기만 하면 됩니다. 대부분의 경우 최종 사용자는 이러한 프록시를 직접 사용합니다.
추론 네트워크는 에이전트 네트워크의 인프라 지원입니다. 개발자에게 낮은 수준의 액세스 권한을 제공합니다. 일반적인 상황에서 최종 사용자는 추론 네트워크를 직접 사용하지 않습니다. 개발자는 LLM에 국한되지 않고 자체 모델을 배포해야 하며, 오프체인 또는 온체인 액세스 포인트를 통해 사용할 수 있습니다.
에이전트 네트워크와 추론 네트워크는 완전히 독립적인 제품이 아닙니다. 우리는 이미 일부 수직 통합 제품을 보기 시작했습니다. 두 기능 모두 유사한 인프라에 의존하기 때문에 에이전트와 추론 기능을 모두 제공합니다.
6. 새로운 기회의 땅
모델 추론, 교육 및 에이전트 네트워크 외에도 web3 분야에는 탐색할 가치가 있는 새로운 영역이 많이 있습니다.
- 데이터 세트: 블록체인 데이터를 머신러닝(ML) 에 사용할 수 있는 데이터 세트로 전환하는 방법은 무엇입니까? 머신러닝(ML) 개발자에게 필요한 것은 보다 구체적이고 주제적인 데이터입니다. 예를 들어, Giza는 특히 머신러닝(ML) 교육을 위해 고품질 DeFi 데이터 세트를 제공합니다. 이상적인 데이터는 단순한 표 형식의 데이터를 넘어 블록체인 세계의 상호 작용을 설명할 수 있는 그래픽 데이터를 포함해야 합니다. 현재로서는 이 부분에 있어서는 아직 부족합니다. 현재 일부 프로젝트에서는 개인 데이터의 개인 정보 보호를 약속하는 Bagel 및 Sahara와 같은 새로운 데이터 세트를 생성한 개인에게 보상을 제공하여 이 문제를 해결하고 있습니다.
- 모델 저장: 일부 모델은 크기가 큽니다. 이러한 모델을 저장, 배포 및 버전 관리하는 방법은 온체인 머신러닝(ML) 의 성능 및 비용과 관련이 있습니다. 이 분야에서는 Filecoin, AR, 0g와 같은 선구적인 프로젝트가 진전을 이루었습니다.
- 모델 훈련: 분산되고 테스트 가능한 모델 훈련은 어려운 문제입니다. Gensyn, Bittensor, Flock 및 Allora는 상당한 진전을 이루었습니다.
- 모니터링: 모델 추론은 온체인 발생하므로 web3 개발자가 모델 사용을 추적하고 가능한 문제와 편차를 적시에 발견할 수 있도록 지원하는 새로운 인프라가 필요합니다. 적절한 모니터링 도구를 사용하면 web3 머신러닝(ML) 개발자는 적시에 조정을 수행하고 모델 정확도를 지속적으로 최적화할 수 있습니다.
- RAG 인프라: 분산 RAG에는 데이터 개인 정보 보호 및 보안을 보장하는 동시에 스토리지, 임베디드 컴퓨팅 및 벡터 데이터베이스에 대한 요구 사항이 더 높은 새로운 인프라 환경이 필요합니다. 이는 Firstbatch 및 Bagel과 같은 RAG를 완성하기 위해 주로 제3자에 의존하는 현재의 Web3 AI 인프라와는 매우 다릅니다.
- Web3에 맞춰진 모델: 모든 모델이 Web3 시나리오에 적합한 것은 아닙니다. 대부분의 경우 가격 예측 및 추천과 같은 특정 애플리케이션에 맞게 모델을 재교육해야 합니다. AI 인프라가 발전함에 따라 앞으로 더 많은 web3 기본 모델이 AI 애플리케이션을 제공할 것으로 기대됩니다. 예를 들어 Pond는 가격 예측, 추천, 사기 탐지, 자금 세탁 방지 등 다양한 시나리오를 위한 블록체인 GNN을 개발하고 있습니다.
- 네트워크 평가: 사람의 피드백 없이 에이전트를 평가하는 것은 쉽지 않습니다. 에이전트 생성 도구가 대중화됨에 따라 수많은 에이전트가 시장에 나타날 것입니다. 이를 위해서는 이러한 에이전트의 기능을 보여주고 사용자가 특정 상황에서 어떤 에이전트가 가장 잘 작동하는지 결정하는 데 도움이 되는 시스템이 필요합니다. 예를 들어 Neuronets는 이 분야의 플레이어입니다.
- 합의 메커니즘: AI 작업의 경우 PoS가 반드시 최선의 선택은 아닙니다. 계산의 복잡성, 검증의 어려움, 확실성 부족은 PoS가 직면한 주요 과제입니다. Bittensor는 머신러닝(ML) 모델 및 출력에 기여하는 네트워크의 노드에 보상하는 새로운 스마트 합의 메커니즘을 만듭니다.
7.향후 전망
우리는 현재 수직적 통합을 향한 추세가 점점 더 커지고 있음을 관찰하고 있습니다. 기본 컴퓨팅 계층을 구축함으로써 네트워크는 훈련, 추론, 에이전트 네트워크 서비스를 포함한 다양한 머신러닝(ML) 작업에 대한 지원을 제공할 수 있습니다. 이 모델은 Web3 머신러닝(ML) 개발자를 위한 포괄적인 원스톱 솔루션을 제공하기 위한 것입니다.
현재 온체인 추론은 비용이 많이 들고 느리지만 뛰어난 검증 가능성과 스마트 계약과 같은 백엔드 시스템과의 원활한 통합을 제공합니다. 미래는 하이브리드 애플리케이션이 될 것이라고 생각합니다. 추론 처리의 일부는 프런트엔드 또는 오프체인에서 수행되는 반면, 중요한 의사결정 추론은 온 온체인 에서 완료됩니다. 이 모델은 이미 모바일 장치에서 사용되고 있습니다. 모바일 장치의 특성을 활용하여 소규모 모델을 로컬에서 빠르게 실행하고 더 복잡한 작업을 클라우드로 이동하여 더 큰 LLM 처리를 활용할 수 있습니다.
