저자:IOSG
TL/DR
우리는 컴퓨팅 네트워크, 에이전트 플랫폼, 소비자 애플리케이션 등 다양한 수직 산업에서 AI와 Web3가 어떻게 서로의 장점을 활용하고 서로를 보완할 수 있는지 논의했습니다. 데이터 리소스의 수직적 분야에 초점을 맞출 때 Web3 대표 프로젝트는 데이터 수집, 공유 및 활용에 대한 새로운 가능성을 제공합니다.
• 전통적인 데이터 제공업체는 특히 투명성, 사용자 제어 및 개인 정보 보호 측면에서 고품질, 실시간 검증 가능한 데이터에 대한 AI 및 기타 데이터 기반 산업의 요구 사항을 충족하기 어렵습니다.
• Web3 솔루션은 데이터 생태계를 재편하기 위해 노력하고 있습니다. MPC, 영지식 증명, TLS Notary와 같은 기술은 데이터가 여러 소스 간에 흐를 때 데이터의 신뢰성과 개인 정보 보호를 보장하는 동시에 분산 스토리지 및 엣지 컴퓨팅은 데이터의 실시간 처리를 위한 더 큰 유연성과 효율성을 제공합니다.
• 그 중 신흥 탈중앙화 데이터 네트워크 인프라는 OpenLayer(모듈 실제 데이터 계층), Grass(사용자 유휴 대역폭 및 탈중앙화 크롤러 노드 네트워크 활용) 및 Vana(사용자 데이터 주권 1층 네트워크) 등 여러 대표적인 프로젝트를 탄생시켰습니다. AI 교육 및 응용 분야에 대한 새로운 전망을 열어주는 다양한 기술 경로.
• 크라우드 소싱 용량, 무신뢰 추상화 계층 및 토큰 기반 인센티브 메커니즘을 통해 탈중앙화 데이터 인프라는 Web2 하이퍼스케일 서비스 제공자보다 더 개인적이고 안전하며 효율적이고 경제적인 솔루션을 제공할 수 있으며 사용자가 데이터 및 관련 리소스를 제어하여 더 많은 것을 구축할 수 있도록 지원합니다. 개방적이고 안전하며 상호 운용 가능한 디지털 생태계.
1. 데이터 수요의 물결
데이터는 산업 전반에 걸쳐 혁신과 의사결정의 핵심 동인이 되었습니다. UBS는 2020년부터 2030년까지 전 세계 데이터 양이 10배 이상 증가해 660ZB에 이를 것으로 예상하고 있습니다. 2025년이면 전 세계 각 개인은 매일 463EB(엑사바이트, 1EB = 10억 GB)의 데이터를 생성하게 됩니다. DaaS(Data-as-a-Service) 시장이 빠르게 확대되고 있습니다. Grand View Research의 보고서에 따르면 글로벌 DaaS 시장은 2023년에 143억 6천만 달러 규모로 평가되며, 2030년까지 연평균 성장률 28.1%로 성장하여 최종적으로 768억 달러에 이를 것으로 예상됩니다. 이러한 높은 성장 수치 뒤에는 여러 산업 부문에서 신뢰할 수 있는 고품질 실시간 데이터에 대한 수요가 있습니다.
AI 모델 훈련은 패턴을 식별하고 매개변수를 조정하기 위해 대량 데이터 입력에 의존합니다. 훈련 후에는 모델의 성능과 일반화 능력을 테스트하기 위한 데이터 세트도 필요합니다. 또한, 미래에 예측되는 지능형 애플리케이션의 새로운 형태인 AI 에이전트는 정확한 의사결정과 작업 실행을 보장하기 위해 신뢰할 수 있는 실시간 데이터 소스가 필요합니다. (출처: Leewayhertz)
AI 모델 훈련은 패턴을 식별하고 매개변수를 조정하기 위해 대량 데이터 입력에 의존합니다. 훈련 후에는 모델의 성능과 일반화 능력을 테스트하기 위한 데이터 세트도 필요합니다. 또한, 미래에 예측되는 지능형 애플리케이션의 새로운 형태인 AI 에이전트는 정확한 의사결정과 작업 실행을 보장하기 위해 신뢰할 수 있는 실시간 데이터 소스가 필요합니다. (출처: Leewayhertz)
비즈니스 분석의 요구사항도 다양해지고 광범위해지며 기업 혁신을 추진하는 핵심 도구가 되었습니다. 예를 들어, 소셜 미디어 플랫폼과 시장 조사 회사는 전략을 수립하고 추세에 대한 통찰력을 얻고, 여러 소셜 플랫폼의 다양한 데이터를 통합하고, 보다 포괄적인 사용자 초상화를 구축하기 위해 신뢰할 수 있는 사용자 행동 데이터가 필요합니다.
Web3 생태계의 경우 일부 새로운 금융 상품을 지원하려면 온체인 신뢰할 수 있고 실제적인 데이터도 필요합니다. 점점 더 많은 새로운 자산이 토큰화됨에 따라 검증 가능한 실시간 데이터를 기반으로 스마트 계약을 실행할 수 있도록 혁신적인 제품 개발 및 리스크 관리를 지원하기 위해 유연하고 안정적인 데이터 인터페이스가 필요합니다. 그 밖에 과학연구, 사물인터넷(IoT) 등의 분야도 있다.
새로운 사용 사례는 산업 전반에 걸쳐 다양한 실시간 데이터에 대한 수요가 급증하고 있음을 보여 주며 기존 시스템은 빠르게 증가하는 데이터 볼륨과 변화하는 수요에 대처하는 데 어려움을 겪을 수 있습니다.
2. 전통적인 데이터 생태계의 한계와 문제점
일반적인 데이터 생태계에는 데이터 수집, 저장, 처리, 분석 및 적용이 포함됩니다. 중앙 집중식 모델은 중앙 집중식 데이터 수집 및 저장, 핵심 기업 IT 팀이 관리하는 운영 및 유지 관리, 엄격한 액세스 제어가 특징입니다.
예를 들어, Google의 데이터 생태계는 검색 엔진, Gmail부터 Android 운영 체제까지 다양한 데이터 소스를 포괄합니다. 사용자 데이터는 이러한 플랫폼을 통해 수집되고 전 세계적으로 분산된 데이터 센터에 저장된 다음 알고리즘을 사용하여 처리 및 분석되어 다양한 개발 및 최적화를 지원합니다. 제품과 서비스.
금융 시장에서는 LSEG(구 Refinitiv)를 예로 들면, 데이터와 인프라가 글로벌 거래소, 은행 및 기타 주요 금융 기관으로부터 실시간 및 과거 데이터를 얻는 동시에 자체 Reuters News 네트워크를 사용하여 시장 관련 뉴스를 수집합니다. . 추가 제품으로 제공되는 분석 데이터 및 리스크 평가를 생성하는 데 독점 알고리즘과 모델이 사용됩니다.
기존 데이터 아키텍처는 전문 서비스에 효과적이지만 중앙 집중식 모델의 한계가 점점 더 분명해지고 있습니다. 특히 새로운 데이터 소스의 적용 범위, 투명성 및 사용자 개인 정보 보호 측면에서 전통적인 데이터 생태계는 도전에 직면해 있습니다. 다음은 몇 가지 예입니다.
• 불충분한 데이터 범위: 기존 데이터 제공업체는 소셜 미디어 정서, IoT 장치 데이터 등과 같은 새로운 데이터 소스를 신속하게 캡처하고 분석하는 데 어려움을 겪고 있습니다. 중앙 집중식 시스템은 소규모 또는 비주류 소스로부터 "롱테일" 데이터를 효율적으로 획득하고 통합하는 데 어려움을 겪습니다.
기존 데이터 아키텍처는 전문 서비스에 효과적이지만 중앙 집중식 모델의 한계가 점점 더 분명해지고 있습니다. 특히 새로운 데이터 소스의 적용 범위, 투명성 및 사용자 개인 정보 보호 측면에서 전통적인 데이터 생태계는 도전에 직면해 있습니다. 다음은 몇 가지 예입니다.
• 불충분한 데이터 범위: 기존 데이터 제공업체는 소셜 미디어 정서, IoT 장치 데이터 등과 같은 새로운 데이터 소스를 신속하게 캡처하고 분석하는 데 어려움을 겪고 있습니다. 중앙 집중식 시스템은 소규모 또는 비주류 소스로부터 "롱테일" 데이터를 효율적으로 획득하고 통합하는 데 어려움을 겪습니다.
예를 들어, 2021년 GameStop 사건은 소셜 미디어 정서 분석에 있어 기존 금융 데이터 제공업체의 한계도 드러냈습니다. Reddit과 같은 플랫폼에 대한 투자 정서 시장 동향을 빠르게 변화시키지만 Bloomberg 및 Reuters와 같은 데이터 터미널은 이러한 역학을 제때 포착하지 못해 시장 예측을 더욱 어렵게 만듭니다.
• 제한된 데이터 접근성: 독점은 접근성을 제한합니다. 많은 기존 제공업체가 API/클라우드 서비스를 통해 일부 데이터를 공개하지만 높은 액세스 비용과 복잡한 인증 프로세스로 인해 여전히 데이터 통합이 어려워집니다.
온체인 개발자가 신뢰할 수 있는 오프체인 데이터에 빠르게 접근하기는 어렵습니다. 고품질의 데이터는 소수의 거대 기업에 의해 독점되고 있으며, 접근 비용이 높습니다.
• 데이터 투명성 및 신뢰성 문제: 많은 중앙 집중식 데이터 제공업체는 데이터 수집 및 처리 방법에 대한 투명성이 부족하고 대규모 데이터의 신뢰성과 무결성을 확인하는 효과적인 메커니즘이 부족합니다. 대규모 실시간 데이터의 검증은 여전히 복잡한 문제로 남아 있으며, 중앙 집중화된 특성으로 인해 데이터가 변조되거나 조작될 리스크 증가합니다.
• 개인 정보 보호 및 데이터 소유권: 사용자 데이터는 대규모 기술 회사와 대규모 상업 플랫폼에서 널리 사용됩니다. 개인 데이터 작성자로서 사용자는 그들로부터 정당한 가치의 수익을 얻기가 어렵습니다. 사용자는 자신의 데이터가 어떻게 수집, 처리, 사용되는지 이해할 수 없는 경우가 많으며 데이터 사용 범위와 방식을 결정하기가 어렵습니다. 과도한 데이터 수집 및 사용은 심각한 개인정보 리스크 을 초래합니다.
예를 들어, Facebook의 Cambridge Analytica 사건은 기존 데이터 제공업체가 데이터 사용 시 투명성과 개인정보 보호에 실패하는 방식에 큰 격차가 있음을 드러냈습니다.
• 데이터 사일로: 또한 다양한 소스와 형식의 분산된 데이터는 신속하게 통합하기 어렵기 때문에 포괄적인 분석 가능성에 영향을 미칩니다. 많은 데이터가 조직 내에 잠겨 있는 경우가 많아 산업과 조직 전반에 걸쳐 데이터 공유와 혁신이 제한됩니다. 데이터 사일로 효과는 도메인 간 데이터 통합 및 분석을 방해합니다.
예를 들어, 소비재 산업에서 브랜드는 전자상거래 플랫폼, 실제 매장, 소셜 미디어 및 시장 조사의 데이터를 통합해야 합니다. 그러나 이러한 데이터는 일관되지 않거나 고립된 플랫폼 형태로 인해 통합하기 어려울 수 있습니다. 또 다른 예로, Uber 및 Lyft와 같은 차량 공유 회사는 사용자로부터 교통, 승객 수요 및 지리적 위치에 대한 대량 의 실시간 데이터를 수집하지만 경쟁으로 인해 이러한 데이터를 통합을 위해 제안하고 공유할 수 없습니다.
또한 비용 효율성과 유연성 등의 문제도 있습니다. 기존 데이터 제공업체는 이러한 과제에 적극적으로 대응하고 있지만 Web3 기술의 갑작스러운 출현은 이러한 문제를 해결하기 위한 새로운 아이디어와 가능성을 제공합니다.
예를 들어, 소비재 산업에서 브랜드는 전자상거래 플랫폼, 실제 매장, 소셜 미디어 및 시장 조사의 데이터를 통합해야 합니다. 그러나 이러한 데이터는 일관되지 않거나 고립된 플랫폼 형태로 인해 통합하기 어려울 수 있습니다. 또 다른 예로, Uber 및 Lyft와 같은 차량 공유 회사는 사용자로부터 교통, 승객 수요 및 지리적 위치에 대한 대량 의 실시간 데이터를 수집하지만 경쟁으로 인해 이러한 데이터를 통합을 위해 제안하고 공유할 수 없습니다.
또한 비용 효율성과 유연성 등의 문제도 있습니다. 기존 데이터 제공업체는 이러한 과제에 적극적으로 대응하고 있지만 Web3 기술의 갑작스러운 출현은 이러한 문제를 해결하기 위한 새로운 아이디어와 가능성을 제공합니다.
3. Web3 데이터 생태계
2014년 IPFS(InterPlanetary File System)와 같은 탈중앙화 스토리지 솔루션이 출시된 이후 기존 데이터 생태계의 한계를 해결하기 위한 일련의 새로운 프로젝트가 업계에 등장했습니다. 우리는 탈중앙화 데이터 솔루션이 데이터 생성, 저장, 교환, 처리 및 분석, 검증 및 보안은 물론 개인 정보 보호 및 소유권을 포함하여 데이터 수명 주기의 모든 단계를 포괄하는 다층적이고 상호 연결된 생태계를 형성했음을 확인합니다.
• 데이터 스토리지: Filecoin과 Arweave의 급속한 발전은 탈중앙화 입증합니다. DCS 솔루션은 분산 아키텍처를 통해 단일 실패 지점 리스크 줄이는 동시에 보다 경쟁력 있는 비용 효율성으로 참가자를 유치합니다. 일련의 대규모 적용 사례가 등장하면서 DCS의 저장 용량은 폭발적인 성장을 경험했습니다(예: Filecoin 네트워크의 총 저장 용량은 2024년에 22엑사바이트에 도달했습니다).
• 처리 및 분석: Fluence와 같은 탈중앙화 데이터 컴퓨팅 플랫폼은 엣지 컴퓨팅 기술을 통해 데이터 처리의 실시간 및 효율성을 향상시킵니다. 이는 사물 인터넷(IoT) 및 AI 추론과 같이 실시간 요구 사항이 높은 애플리케이션에 특히 적합합니다. . 장면. Web3 프로젝트는 연합 학습, 차등 개인 정보 보호, 신뢰할 수 있는 실행 환경, 완전 동형 암호화 및 기타 기술을 사용하여 컴퓨팅 계층에서 유연한 개인 정보 보호 및 균형을 제공합니다.
• 데이터 시장/교환 플랫폼: 데이터의 재평가 및 순환을 촉진하기 위해 Ocean Protocol은 토큰화 및 DEX 메커니즘을 통해 효율적이고 개방적인 데이터 교환 채널을 만들었습니다. 데이터 개발 공급망 관리에서 데이터 공유를 지원하는 Exchange 마켓플레이스. 반면 Streamr는 IoT 및 실시간 분석 시나리오에 적합한 무허가형 구독 기반 데이터 스트리밍 네트워크를 구축하여 운송 및 물류 프로젝트(예: 핀란드 스마트 시티 프로젝트 작업)에서 뛰어난 잠재력을 보여주었습니다.
데이터 교환 및 활용 빈도가 증가함에 따라 데이터 신뢰성, 신뢰성 및 개인 정보 보호는 무시할 수 없는 주요 문제가 되었습니다. 이로 인해 Web3 생태계는 데이터 확인 및 개인 정보 보호 분야에서 계속해서 혁신하고 반복하여 일련의 획기적인 솔루션을 탄생시켰습니다.
3.1 데이터 검증 및 개인정보 보호 혁신
많은 web3 기술과 기본 프로젝트가 데이터 신뢰성 및 개인 데이터 보호 문제를 해결하기 위해 노력하고 있습니다. ZK 외에도 MPC 등의 기술 개발이 널리 사용되고 있으며 그 중 TLS Notary(Transport Layer Security Protocol Notary)가 특히 주목받고 있습니다. TLS 공증인 소개 TLS(전송 계층 보안)는 클라이언트와 서버 간 데이터 전송의 보안, 무결성 및 기밀성을 보장하기 위해 네트워크 통신에 널리 사용되는 암호화 프로토콜입니다. 이는 최신 네트워크 통신의 일반적인 암호화 표준이며 HTTPS, 이메일, 인스턴트 메시징 등 다양한 시나리오에서 사용됩니다.
3.1 데이터 검증 및 개인정보 보호 혁신
많은 web3 기술과 기본 프로젝트가 데이터 신뢰성 및 개인 데이터 보호 문제를 해결하기 위해 노력하고 있습니다. ZK 외에도 MPC 등의 기술 개발이 널리 사용되고 있으며 그 중 TLS Notary(Transport Layer Security Protocol Notary)가 특히 주목받고 있습니다. TLS 공증인 소개 TLS(전송 계층 보안)는 클라이언트와 서버 간 데이터 전송의 보안, 무결성 및 기밀성을 보장하기 위해 네트워크 통신에 널리 사용되는 암호화 프로토콜입니다. 이는 최신 네트워크 통신의 일반적인 암호화 표준이며 HTTPS, 이메일, 인스턴트 메시징 등 다양한 시나리오에서 사용됩니다.
10년 전 탄생 당시 TLS Notary의 원래 목표는 클라이언트(Prover)와 서버 외에 제3자 "공증인"을 도입하여 TLS 세션의 신뢰성을 검증하는 것이었습니다.
키 분할을 사용하면 TLS 세션의 마스터 키가 클라이언트와 공증인이 보유하는 두 부분으로 분할됩니다. 이 설계를 통해 공증인은 신뢰할 수 있는 제3자로서 검증 프로세스에 참여할 수 있지만 실제 통신 내용에는 액세스할 수 없습니다. 이 공증 메커니즘은 중간자 공격을 탐지하고, 사기성 인증서를 방지하며, 통신 데이터가 전송 중에 변조되지 않았는지 확인하고, 신뢰할 수 있는 제3자가 통신 개인 정보를 보호하면서 통신의 적법성을 확인할 수 있도록 설계되었습니다.
결과적으로 TLS Notary는 안전한 데이터 검증을 제공하고 검증 요구 사항과 개인 정보 보호의 균형을 효과적으로 유지합니다.
2022년에는 이더 재단의 PSE(Privacy and Scaling Exploration) 연구소에서 TLS 공증 프로젝트를 처음부터 다시 구축합니다. TLS Notary 프로토콜의 새 버전은 Rust 언어로 처음부터 다시 작성되었으며 더 발전된 암호화 프로토콜(MPC 등)을 통합합니다. 새로운 프로토콜 기능을 통해 사용자는 서버에서 받은 데이터의 신뢰성을 제3자에게 증명할 수 있습니다. while not 유출된 데이터의 구체적인 내용. TLS Notary의 원래 핵심 검증 기능을 유지하면서 개인 정보 보호 기능이 크게 향상되어 현재와 미래의 데이터 개인 정보 보호 요구에 더욱 적합해졌습니다.
3.2 TLS 공증인의 변형 및 확장
TLS Notary 기술은 최근 몇 년 동안 계속 발전해 왔으며 개인 정보 보호 및 확인 기능을 더욱 향상시키기 위해 여러 변형을 개발했습니다.
• zkTLS: ZKP 기술과 결합된 TLS Notary의 개인 정보 보호 강화 버전으로, 사용자는 민감한 정보를 노출하지 않고 웹 페이지 데이터의 암호화 인증서를 생성할 수 있습니다. 매우 높은 수준의 개인 정보 보호가 필요한 통신 시나리오에 적합합니다.
• 3P-TLS(Three-Party TLS): 클라이언트, 서버, 감사 도입하여 감사 통신 내용을 유출하지 않고 통신의 보안을 확인할 수 있도록 합니다. 이 프로토콜은 규정 준수 검토 또는 금융 거래 감사 와 같이 투명성이 필요하지만 개인 정보 보호가 필요한 시나리오에 유용합니다.
Web3 프로젝트는 이러한 암호화 기술을 사용하여 데이터 확인 및 개인 정보 보호를 강화하고, 데이터 장벽을 허물고, 데이터 사일로 및 신뢰할 수 있는 전송 문제를 해결하여 사용자가 개인 정보 유출 없이 금융 대출에 대한 구매 기록과 소셜 미디어 계정의 소유권을 증명할 수 있도록 합니다. , 직업적 배경, 학력 인증 및 기타 정보:
• Reclaim Protocol은 zkTLS 기술을 사용하여 HTTPS 트래픽의 영지식 증명을 생성하므로 사용자는 민감한 정보를 노출하지 않고 외부 웹사이트에서 활동, 평판 및 신원 데이터를 안전하게 가져올 수 있습니다.
• zkPass는 3P-TLS 기술을 결합하여 사용자가 유출 없이 실제 개인 데이터를 확인할 수 있도록 합니다. 이는 KYC, 신용 서비스 및 기타 시나리오에서 널리 사용되며 HTTPS 네트워크와 호환됩니다.
• Opacity Network는 zkTLS를 기반으로 하므로 사용자는 크로스 플랫폼 활동 증명을 달성하기 위해 이러한 플랫폼의 API에 직접 액세스하지 않고도 다양한 플랫폼(예: Uber, Spotify, Netflix 등)에서 자신의 활동을 안전하게 증명할 수 있습니다.
데이터 생태계 체인의 중요한 연결고리로서 Web3 데이터 검증은 광범위한 응용 전망을 갖고 있으며, Web3 데이터 검증의 생태적 번영은 더욱 개방적이고 역동적이며 사용자 중심적인 디지털 경제로 이어집니다. 그러나 진위 검증 기술의 개발은 차세대 데이터 인프라 구축의 시작일 뿐입니다.
4. 탈중앙화 데이터 네트워크
일부 프로젝트는 위에서 언급한 데이터 검증 기술을 결합하여 데이터 생태계의 업스트림, 즉 데이터 추적성, 분산 수집 및 신뢰할 수 있는 데이터 전송에서 보다 심층적인 탐색을 수행합니다. 다음은 차세대 데이터 인프라 구축에 있어 고유한 잠재력을 보여주는 OpenLayer, Grass 및 Vana 등 여러 대표적인 프로젝트에 중점을 둡니다.
4.1 오픈레이어
OpenLayer는 a16z Crypto 2024 Spring Crypto Startup 가속기 프로젝트 중 하나입니다. 최초 모듈 실제 데이터 계층으로서 Web2와 Web3의 요구 사항을 모두 충족하기 위해 데이터 수집, 확인 및 변환을 조정하는 혁신적인 모듈 식 솔루션을 제공하기 위해 최선을 다하고 있습니다. 회사. OpenLayer는 Geometry Ventures 및 LongHash Ventures를 비롯한 유명 펀드와 엔젤 투자자로부터 지원을 받았습니다.
전통적인 데이터 계층에는 신뢰할 수 있는 검증 메커니즘 부족, 중앙 집중식 아키텍처에 대한 의존으로 인해 액세스가 제한됨, 서로 다른 시스템 간의 데이터 상호 운용성과 유동성 부족, 공정한 데이터 가치 분배 메커니즘이 없다는 등 여러 가지 과제가 있습니다.
보다 구체적인 문제는 AI 훈련 데이터가 점점 부족해지는 경우입니다. 공용 인터넷에서는 AI 기업이 대규모로 데이터를 얻는 것을 방지하기 위해 많은 웹사이트가 크롤러 제한을 채택하기 시작했습니다.
개인 소유 데이터의 경우 상황은 더욱 복잡합니다. 많은 귀중한 데이터는 민감한 특성으로 인해 개인 정보 보호 방식으로 저장되며 효과적인 인센티브 메커니즘이 부족합니다. 현재 상황에서 사용자는 개인 데이터 제공을 통해 직접적인 이익을 안전하게 얻을 수 없으므로 이러한 민감한 데이터를 공유하기를 꺼립니다.
이러한 문제를 해결하기 위해 OpenLayer는 데이터 검증 기술을 결합하여 모듈 인증 데이터 계층(Modular Authentic Data Layer)을 구축하고 탈중앙화 경제적 인센티브를 사용하여 데이터 수집, 검증 및 변환 프로세스를 조정하여 Web2 및 Web3 회사에 더 많은 것을 제공합니다. 안전하고 효율적이며 유연한 데이터 인프라입니다.
이러한 문제를 해결하기 위해 OpenLayer는 데이터 검증 기술을 결합하여 모듈 인증 데이터 계층(Modular Authentic Data Layer)을 구축하고 탈중앙화 경제적 인센티브를 사용하여 데이터 수집, 검증 및 변환 프로세스를 조정하여 Web2 및 Web3 회사에 더 많은 것을 제공합니다. 안전하고 효율적이며 유연한 데이터 인프라입니다.
4.1.1 OpenLayer 모듈 설계의 핵심 구성요소
OpenLayer는 데이터 수집, 신뢰할 수 있는 검증 및 변환 프로세스를 단순화하는 모듈 식 플랫폼을 제공합니다.
a) 오픈노드
OpenNodes는 OpenLayer 생태계에서 탈중앙화 데이터 수집을 담당하는 핵심 구성 요소입니다. 데이터는 사용자의 모바일 애플리케이션, 브라우저 확장 프로그램 및 기타 채널을 통해 수집되며, 다양한 운영자 노드는 수익을 최적화하기 위해 하드웨어 사양에 따라 가장 적합한 작업을 수행할 수 있습니다.
OpenNodes는 다양한 유형의 작업 요구 사항을 충족하기 위해 세 가지 주요 데이터 유형을 지원합니다.
• 공개적으로 사용 가능한 인터넷 데이터(예: 금융 데이터, 날씨 데이터, 스포츠 데이터, 소셜 미디어 스트림)
• 사용자 개인 데이터(예: Netflix 시청 기록, Amazon 주문 기록 등)
• 보안 소스의 자체 보고 데이터(예: 소유권 소유자가 서명한 데이터 또는 신뢰할 수 있는 특정 하드웨어에서 확인한 데이터)
개발자는 쉽게 새로운 데이터 유형을 추가하고, 새로운 데이터 소스, 요구 사항 및 데이터 검색 방법을 지정할 수 있으며, 사용자는 보상을 받는 대가로 식별되지 않은 데이터를 제공하도록 선택할 수 있습니다. 이러한 설계를 통해 시스템은 새로운 데이터 요구 사항에 맞게 지속적으로 확장할 수 있으므로 OpenLayer는 다양한 애플리케이션 시나리오에 대한 포괄적인 데이터 지원을 제공하고 데이터 제공에 대한 임계값을 낮출 수 있습니다.
b) OpenValidator
OpenValidators는 수집 후 데이터 유효성 검사를 담당하므로 데이터 소비자는 사용자가 제공한 데이터가 데이터 소스와 정확히 일치하는지 확인할 수 있습니다. 제공되는 모든 검증 방법은 암호학적으로 입증이 가능하며, 검증 결과는 사후 검증이 가능합니다. 동일한 유형의 인증을 제공하는 여러 제공업체가 있습니다. 개발자는 자신의 필요에 따라 가장 적합한 검증 공급자를 선택할 수 있습니다.
초기 사용 사례에서, 특히 인터넷 API의 공개 또는 비공개 데이터에 대해 OpenLayer는 TLS Notary를 검증 솔루션으로 활용하여 모든 웹 애플리케이션에서 데이터를 내보내고 개인 정보를 침해하지 않으면서 데이터의 신뢰성을 증명합니다.
모듈 설계 덕분에 TLS 공증인에 국한되지 않고 검증 시스템을 다른 검증 방법에 쉽게 연결하여 다음을 포함하되 이에 국한되지 않는 다양한 유형의 데이터 및 검증 요구 사항에 적응할 수 있습니다.
1. 증명된 TLS 연결: TEE(신뢰할 수 있는 실행 환경)를 사용하여 인증된 TLS 연결을 설정하여 전송 중 데이터의 무결성과 신뢰성을 보장합니다.
2. Secure Enclaves: 하드웨어 수준의 보안 격리 환경(예: Intel SGX)을 사용하여 민감한 데이터를 처리하고 확인함으로써 더 높은 수준의 데이터 보호를 제공합니다.
3. ZK 증명 생성기: ZKP를 통합하여 원본 데이터 유출 없이 데이터 속성이나 계산 결과를 확인할 수 있습니다.
다) 오픈커넥트
OpenConnect는 OpenLayer 생태계에서 데이터 변환 및 가용성을 담당하는 핵심 모듈 입니다. 이는 다양한 소스의 데이터를 처리하고 다양한 애플리케이션의 요구 사항을 충족하기 위해 다양한 시스템 간의 데이터 상호 운용성을 보장합니다. 예를 들어:
• 스마트 계약에서 직접 사용할 수 있도록 데이터를 오라클 온체인 오라클 형식으로 변환합니다.
• AI 훈련 등의 목적을 위한 전처리를 위해 구조화되지 않은 원시 데이터를 구조화된 데이터로 변환합니다.
OpenConnect는 사용자 개인 계정의 데이터에 대해 개인 정보 보호를 위해 데이터 둔감화 기능을 제공하며, 데이터 공유 중 보안을 강화하고 데이터 유출 및 남용을 줄이는 구성 요소도 제공합니다. AI, 블록체인 등 애플리케이션의 실시간 데이터 요구 사항을 충족하기 위해 OpenConnect는 효율적인 실시간 데이터 변환을 지원합니다.
현재 Eigenlayer의 통합을 통해 OpenLayer AVS 운영자는 데이터 요청 작업을 모니터링하고 데이터 캡처 및 검증을 담당한 다음 결과를 시스템에 다시 보고하고 EigenLayer를 통해 자산을 스테이킹 하거나 재 스테이킹 그들의 행동에 대한 경제적 보장을 제공합니다. . 악의적인 행위가 입증될 경우 담보 자산을 스테이킹 당할 리스크 있습니다. EigenLayer 메인넷의 최초 AVS(Active Verification Services) 중 하나인 OpenLayer는 50개 이상의 운영자와 40억 달러 이상의 리스테이킹 (Restaking) 자산을 유치했습니다.
전반적으로 OpenLayer가 구축한 탈중앙화 데이터 계층은 실용성과 효율성을 희생하지 않고 사용 가능한 데이터의 범위와 다양성을 확장하는 동시에 암호화 기술과 경제적 인센티브를 통해 데이터의 신뢰성과 무결성을 보장합니다. 해당 기술은 오프체인 신뢰를 얻으려는 Web3 Dapp, AI 모델을 훈련하고 추론하기 위해 실제 입력이 필요한 회사, 사용자의 신원과 평판을 기반으로 사용자를 분류하고 가격을 책정하려는 회사에 대한 광범위한 실제 응용 프로그램을 갖추고 있습니다. 사용자는 자신의 개인 데이터를 소중히 여길 수도 있습니다.
4.2.1 잔디 주요 구성요소
4.2 잔디
Grass는 탈중앙화 웹 크롤러와 AI 훈련 데이터 플랫폼을 만들기 위해 Wynd Network가 개발한 주력 프로젝트입니다. 2023년 말, Grass 프로젝트는 Polychain Capital과 Tribe Capital이 주도하는 350만 달러 규모의 시드 융자 조달을 완료했습니다. 이후 2024년 9월 이 프로젝트는 HackVC가 주도하는 시리즈 A 융자 받았으며 Polychain, Delphi, Lattice 및 Brevan Howard와 같은 유명 투자 기관도 참여했습니다.
AI 훈련에는 새로운 데이터 입력이 필요하며, 해결책 중 하나는 여러 IP를 사용하여 데이터 액세스 권한을 돌파하고 AI에 데이터를 공급하는 것이라고 언급했습니다. Grass는 여기에서 시작하여 사용자의 유휴 대역폭을 사용하여 AI 훈련을 위한 검증 가능한 데이터 세트를 수집하고 제공하는 물리적 인프라 탈중앙화 전용 분산 크롤러 노드 네트워크를 만들었습니다. 노드는 사용자의 인터넷 연결을 통해 웹 요청을 라우팅하고, 공개 웹사이트에 액세스하고, 구조화된 데이터 세트를 컴파일합니다. 데이터 품질을 향상시키기 위해 사전 데이터 정리 및 포맷에 엣지 컴퓨팅 기술을 사용합니다.
Grass는 처리 효율성을 향상시키기 위해 Solana를 기반으로 구축된 Solana 레이어 2 데이터 롤업 아키텍처를 채택합니다. Grass는 유효성 검사기를 사용하여 노드에서 웹 트랜잭션을 수신, 확인 및 일괄 처리하고 ZK 인증서를 생성하여 데이터 신뢰성을 보장합니다. 검증된 데이터는 데이터 원장(L2)에 저장되며 해당 L1 온체인 증명과 연결됩니다.
4.2.1 잔디 주요 구성요소
a) 잔디 노드
OpenNodes와 유사하게 C 측 사용자는 유휴 대역폭을 사용하여 웹 크롤링 작업을 수행하고, 공개 웹 사이트에 액세스하고, 에지 컴퓨팅을 사용하여 구조화된 데이터 세트를 컴파일하여 Grass 애플리케이션 또는 브라우저 확장을 설치하고 실행합니다. 기술. 예비 데이터 정리 및 포맷. 사용자는 기여한 대역폭과 데이터 양에 따라 GRASS 토큰으로 보상을 받습니다.
b) 라우터
Grass 노드와 검증자를 연결하고 노드 네트워크와 릴레이 대역폭을 관리합니다. 라우터는 릴레이를 통과하는 총 검증 대역폭에 비례하여 작동하고 보상을 받도록 인센티브를 받습니다.
c) 검증인
라우터에서 웹 트랜잭션을 수신, 확인 및 일괄 처리하고, ZK 증명을 생성하고, 고유 키 세트를 사용하여 TLS 연결을 설정하고, 대상 웹 서버와의 통신에 적합한 암호화 제품군을 선택합니다. Grass는 현재 중앙 집중식 검증자를 사용하고 있으며 향후 검증자 위원회로 이동할 계획입니다.
d) ZK 프로세서
검증인으로부터 생성된 각 노드에 대한 세션 데이터 증명을 수신하고, 모든 웹 요청에 대한 유효성 증명을 일괄 처리하여 레이어 1(Solana)에 제출합니다.
e) 잔디 데이터 원장(Grass L2)
전체 데이터 세트를 저장하고 증명을 위해 해당 L1 체인(Solana)에 연결합니다.
f) 에지 임베딩 모델
구조화되지 않은 웹 데이터를 AI 훈련에 사용할 수 있는 구조화된 모델로 변환하는 일을 담당합니다.
Grass와 OpenLayer의 분석 및 비교
OpenLayer와 Grass는 모두 분산 네트워크를 활용하여 회사에 인증이 필요한 공개 인터넷 데이터 및 비공개 정보에 대한 액세스를 제공합니다. 인센티브 메커니즘은 데이터 공유와 고품질 데이터 생산을 촉진합니다. 둘 다 데이터 액세스 및 검증 문제를 해결하기 위해 탈중앙화 데이터 계층(Decentralized Data Layer)을 만드는 데 전념하고 있지만 약간 다른 기술 경로와 비즈니스 모델을 채택합니다.
기술 아키텍처의 차이점
Grass는 Solana Layer 2 데이터 롤업 아키텍처를 사용하며 현재 단일 유효성 검사기를 사용하는 중앙 집중식 검증 메커니즘을 사용합니다. AVS의 첫 번째 배치인 OpenLayer는 EigenLayer를 기반으로 구축되었으며 경제적 인센티브와 몰수 메커니즘을 사용하여 탈중앙화 검증 메커니즘을 구현합니다. 모듈 식 설계를 채택하고 데이터 검증 서비스의 확장성과 유연성을 강조합니다.
제품 차이
둘 다 유사한 To C 제품을 제공하므로 사용자는 노드를 통해 데이터 가치를 현금화할 수 있습니다. To B 측면에서 Grass는 흥미로운 데이터 시장 모델을 제공하고 L2를 사용하여 전체 데이터를 확인하고 저장하여 AI 회사의 구조화되고 검증 가능한 고품질 교육 세트를 제공합니다. OpenLayer는 당분간 전용 데이터 저장 구성요소를 보유하고 있지 않지만, AI를 위한 데이터 제공 외에도 보다 폭넓은 실시간 데이터 흐름 검증 서비스(Vaas)를 제공하고 있어 빠른 대응이 필요한 시나리오에도 적합합니다. , RWA/DeFi 예측 시장 프로젝트를 위한 Oracle과 같은 피드 가격, 실시간 소셜 데이터 제공 등
따라서 Grass의 현재 대상 고객 기반은 주로 AI 회사 및 데이터 과학자를 대상으로 하며 대규모의 구조화된 교육 데이터 세트를 제공하고 또한 대량 네트워크 데이터가 필요한 연구 기관 및 기업에 서비스를 제공하는 반면 OpenLayer는 일시적으로 이러한 데이터를 지향합니다. 오프체인 데이터 소스가 필요한 온체인 개발자, 실시간으로 검증 가능한 데이터 스트림이 필요한 AI 회사, 제품 사용 내역 확인과 같은 혁신적인 사용자 확보 전략을 지원하는 Web2 회사입니다.
잠재적인 미래 경쟁
그러나 업계 동향을 고려할 때 두 프로젝트의 기능이 미래에 수렴될 가능성이 실제로 있습니다. Grass는 곧 실시간 구조화된 데이터도 제공할 예정입니다. 모듈 플랫폼인 OpenLayer는 향후 데이터 세트 관리까지 확장하고 자체 데이터 원장을 보유할 수 있으므로 둘 사이의 경쟁 영역이 점차 겹칠 수 있습니다.
또한 두 프로젝트 모두 데이터 라벨링의 핵심 링크 추가를 고려할 수 있습니다. Grass는 220만 개 이상의 활성 노드로 알려진 대규모 노드 네트워크를 보유하고 있기 때문에 이 분야에서 더 빠르게 움직일 수 있습니다. 이러한 이점을 통해 Grass는 인간 피드백(RLHF) 서비스를 기반으로 강화 학습을 제공하고 주석이 달린 대량 데이터를 활용하여 AI 모델을 최적화할 수 있는 잠재력을 갖게 됩니다.
그러나 개인 데이터에 중점을 둔 OpenLayer는 데이터 검증 및 실시간 처리에 대한 전문 지식을 바탕으로 데이터 품질과 신뢰성의 우위를 유지할 수 있습니다. 또한 EigenLayer의 AVS 중 하나인 OpenLayer는 탈중앙화 검증 메커니즘에서 추가 개발을 수행할 수 있습니다.
두 프로젝트가 일부 영역에서는 경쟁할 수 있지만 각각의 고유한 강점과 기술 경로로 인해 데이터 생태계에서 서로 다른 틈새 시장을 차지할 수도 있습니다.
4.3 바바
Vana는 사용자 중심의 데이터 풀 네트워크로서 AI 및 관련 애플리케이션을 위한 고품질 데이터 제공에도 최선을 다하고 있습니다. OpenLayer 및 Grass와 비교하여 Vana는 더 다른 기술 경로와 비즈니스 모델을 채택합니다. Vana는 2024년 9월 Coinbase Ventures가 주도하는 500만 달러 융자 완료했습니다. 이전에는 Paradigm이 주도한 시리즈 A 융자 에서 1,800만 달러를 받았습니다. 다른 유명 투자자로는 Polychain, Casey Caruso 등이 있습니다.
원래 2018년 MIT 연구 프로젝트로 시작된 Vana는 사용자의 개인 데이터를 위해 특별히 설계된 레이어 1 블록체인을 목표로 합니다. 데이터 소유권 및 가치 분배에 대한 혁신을 통해 사용자는 데이터에 대해 훈련된 AI 모델을 통해 이익을 얻을 수 있습니다. Vana의 핵심은 신뢰할 수 없는 비공개적이고 가시적인 데이터 유동성 풀과 혁신적인 기여 증명 메커니즘을 통해 개인 데이터의 순환과 가치를 실현하는 것입니다.
4.3.1 데이터 유동성 풀
Vana는 고유한 데이터 유동성 풀(DLP) 개념을 도입합니다. Vana 네트워크의 핵심 구성 요소인 각 DLP는 특정 유형의 데이터 자산을 집계하는 데 사용되는 독립적인 P2P 네트워크입니다. 사용자는 자신의 개인 데이터(예: 쇼핑 기록, 탐색 습관, 소셜 미디어 활동 등)를 특정 DLP에 업로드하고 이 데이터를 특정 제3자에게 사용하도록 허용할지 여부를 유연하게 선택할 수 있습니다. 데이터는 이러한 유동성 풀을 통해 통합 및 관리되며, 데이터는 비식별화되어 사용자 개인 정보를 보호하는 동시에 데이터가 AI 모델 교육이나 시장 조사와 같은 상용 애플리케이션에 참여할 수 있도록 허용합니다.
사용자는 DLP에 데이터를 제출하고 해당 DLP 토큰(각 DLP에는 특정 토큰이 있음)을 보상으로 받습니다. 이 토큰은 사용자 데이터의 총 기여를 나타낼 뿐만 아니라 사용자에게 DLP에 대한 거버넌스 권한과 향후 이익 분배 권한을 부여합니다. 사용자는 데이터를 공유할 수 있을 뿐만 아니라 후속 데이터 호출을 통해 지속적인 이점을 얻을 수 있습니다(및 시각적 추적 제공). Vana는 기존의 일회성 데이터 판매와 달리 데이터가 경제 주기에 지속적으로 참여할 수 있도록 합니다.
4.3.2 기여 증명 메커니즘
Vana의 다른 핵심 혁신 중 하나는 기여 증명 메커니즘입니다. 이는 데이터 품질을 보장하는 Vana의 핵심 메커니즘으로, 각 DLP가 해당 특성을 기반으로 고유한 기여 인증 기능을 제어하여 데이터의 신뢰성과 무결성을 확인하고 AI 모델 성능 향상에 대한 데이터의 기여도를 평가할 수 있도록 합니다. 이 메커니즘은 사용자의 데이터 기여도를 정량화하고 기록하여 사용자에게 보상을 제공하도록 보장합니다.
암호화폐의 "작업 증명"과 유사하게 기여 증명은 사용자가 기여하는 데이터의 품질, 수량 및 사용 빈도를 기준으로 사용자에게 수익을 할당합니다. 스마트 계약을 통한 자동 실행을 통해 기여자는 기여에 맞는 보상을 받을 수 있습니다.
Vana의 기술 아키텍처
1. 데이터 유동성 계층
이는 DLP에 대한 데이터 기여, 검증 및 기록을 담당하는 Vana의 핵심 계층으로, 데이터를 전송 가능한 디지털 자산으로 온체인 도입합니다. DLP는 DLP 스마트 계약을 생성 및 배포하고 데이터 기여 목적, 검증 방법 및 기여 매개변수를 설정합니다. 데이터 기여자와 관리자는 검증을 위해 데이터를 제출하고, 기여 증명(PoC) 모듈 데이터 검증 및 가치 평가를 수행하여 매개변수에 따라 거버넌스 권한과 보상을 부여합니다.
2. 데이터 이동성 계층
이는 데이터 기여자와 개발자를 위한 개방형 데이터 플랫폼이자 Vana의 애플리케이션 레이어입니다. 데이터 이식성 계층은 데이터 기여자와 개발자가 DLP에 축적된 데이터 유동성을 사용하여 애플리케이션을 구축할 수 있는 협업 공간을 제공합니다. 사용자 소유 모델의 분산 교육 및 AI Dapp 개발을 위한 인프라를 제공합니다.
3. 유니버설 커넥톰
탈중앙화 원장은 전체 Vana 생태계에 걸친 실시간 데이터 흐름 그래프이기도 하며, 지분 증명 합의를 사용하여 Vana 생태계에서 실시간 데이터 거래를 기록합니다. DLP 토큰의 효율적인 전송을 보장하고 애플리케이션에 대한 교차 DLP 데이터 액세스를 제공합니다. EVM과 호환되어 다른 네트워크, 프로토콜 및 DeFi 애플리케이션과의 상호 운용성을 허용합니다.
Vana는 사용자 데이터의 유동성과 가치 부여에 중점을 두고 다른 경로를 제공합니다. 이 탈중앙화 데이터 교환 모델은 AI 교육 및 데이터 시장과 같은 시나리오에 적합할 뿐만 아니라 Web3 생태계에서 사용자 데이터를 위한 플랫폼을 제공합니다. -플랫폼 상호 운용성과 권한 부여는 새로운 솔루션을 제공하여 궁극적으로 사용자가 자신의 데이터와 이 데이터로 생성된 스마트 제품을 소유하고 관리할 수 있는 개방형 인터넷 생태계를 조성합니다.
5. 탈중앙화 데이터 네트워크의 가치 제안
데이터 과학자 Clive Humby는 2006년에 데이터가 새로운 시대의 석유라고 말했습니다. 지난 20년 동안 우리는 "정제" 기술의 급속한 발전을 목격해왔습니다. 빅데이터 분석, 머신러닝(ML) 등의 기술은 이전과는 비교할 수 없을 정도로 데이터의 가치를 극대화하고 있습니다. IDC의 예측에 따르면 2025년까지 글로벌 데이터 서클은 163ZB로 성장할 것이며, 그 중 대부분은 IoT, 웨어러블 디바이스, AI, 개인화 서비스 등 신기술의 대중화로 인해 대량 사용자로부터 나올 것입니다. 미래에는 데이터가 필요할 것이며 개인으로부터 소스를 얻을 것입니다.
기존 솔루션의 문제점: Web3의 혁신 실현
Web3 데이터 솔루션은 분산 노드 네트워크를 통해 기존 시설의 한계를 극복하여 보다 광범위하고 효율적인 데이터 수집을 달성하는 동시에 특정 데이터의 실시간 수집 효율성과 검증 신뢰성을 향상시킵니다. 이 과정에서 Web3 기술은 데이터의 신뢰성과 무결성을 보장하고 사용자 개인 정보를 효과적으로 보호함으로써 보다 공정한 데이터 활용 모델을 달성합니다. 이러한 탈중앙화 데이터 아키텍처는 데이터 수집의 민주화를 촉진합니다.
OpenLayer와 Grass의 사용자 노드 모델이든, Vana의 사용자 개인 데이터 수익화든, 특정 데이터 수집의 효율성을 높이는 것 외에도 일반 사용자가 데이터 경제의 배당금을 공유하여 윈윈을 창출할 수 있습니다. 사용자와 개발자를 위한 승리 모델을 통해 사용자는 자신의 데이터와 관련 리소스를 진정으로 제어하고 활용할 수 있습니다.
토큰 이코노미 인센티브를 통해 Web3 데이터 솔루션은 인센티브 모델을 재설계하고 보다 공정한 데이터 가치 분배 메커니즘을 만듭니다. 이는 대량 의 사용자, 하드웨어 자원 및 자본의 투입을 유도하여 전체 데이터 네트워크의 운영을 공동으로 조정하고 최적화합니다.
기존 데이터 솔루션에 비해 모듈 식이며 확장 가능합니다. 예를 들어 OpenLayer의 모듈 설계는 미래 기술 반복 및 생태학적 확장을 위한 유연성을 제공합니다. 기술적 특징 덕분에 AI 모델 훈련을 위한 데이터 수집 방법은 더욱 풍부하고 다양한 데이터 세트를 제공하도록 최적화되었습니다.
데이터 생성, 저장, 확인부터 교환 및 분석에 이르기까지 Web3 기반 솔루션은 고유한 기술적 장점을 통해 기존 시설의 많은 단점을 해결하는 동시에 사용자에게 개인 데이터로 수익을 창출할 수 있는 기능을 제공하여 데이터 경제 모델의 근본적인 변화를 촉발합니다. 기술의 추가 개발 및 진화와 애플리케이션 시나리오의 확장으로 탈중앙화 데이터 계층은 광범위한 데이터 중심 산업을 지원하는 다른 Web3 데이터 솔루션과 함께 차세대 중요 인프라가 될 것으로 예상됩니다.
데이터 생성, 저장, 확인부터 교환 및 분석에 이르기까지 Web3 기반 솔루션은 고유한 기술적 장점을 통해 기존 시설의 많은 단점을 해결하는 동시에 사용자에게 개인 데이터로 수익을 창출할 수 있는 기능을 제공하여 데이터 경제 모델의 근본적인 변화를 촉발합니다. 기술의 추가 개발 및 진화와 애플리케이션 시나리오의 확장으로 탈중앙화 데이터 계층은 광범위한 데이터 중심 산업을 지원하는 다른 Web3 데이터 솔루션과 함께 차세대 중요 인프라가 될 것으로 예상됩니다.
