이메일 클라이언트에서 이 글이 잘린 경우, 여기에서 온라인 버전을 읽으실 수 있습니다. 또한, 다음 각주도 읽어주세요: 1
소개
데이터는 새로운 해자입니다
데이터가 새로운 석유나 금보다 더 나은 것이라는 공감대가 점점 커지고 있습니다. 데이터는 새로운 해자입니다.
우리는 소프트웨어 시장에서 놀라운 영역 확장의 한가운데에 있습니다. LLM은 소프트웨어 개발 방식을 변화시키고, 이전에는 기술이 미치지 않았던 광활한 신시장(특히 서비스 분야)을 개척하며, 많은 기존 기업들을 노쇠한 기업으로 보이게 만들고 있습니다. 이는 기업들이 시장 점유율을 확보할 수 있는 세대적 기회이며, 많은 스타트업이 바로 그러한 기회를 포착하고 있습니다.
AI 열풍을 타고 있는 스타트업들은 전례 없는 성장률을 기록하고 있습니다. Bolt는 2개월 만에 연평균 매출(ARR) 2천만 달러를 달성했고, Cursor는 21개월 만에 연평균 매출(ARR) 1백만 달러에서 1억 달러로 성장했습니다. OpenAI는 수십억 달러의 매출을 달성했습니다(GPT-3가 출시된 지 5년도 채 되지 않았다는 점을 기억하세요). 이처럼 초고속 성장 사례는 넘쳐납니다.
엄청난 기회, 엄청난 환경. 회사는 어떻게 해야 할까? 해자.
잘 알려지고 사랑받는 해자(해자)들이 있습니다. 네트워크 효과, 사용자 고착 및 전환 비용, 브랜드 및 포지셔닝, 프로세스 파워, 고유 IP, 규모의 경제 등이 그 예입니다. 반면, 잘 알려지지 않았거나 의문스러운 해자도 있습니다. 2
하지만 AI의 등장으로 새로운 종류의 해자가 등장했습니다. 바로 데이터 해자입니다. 이는 우연이 아닙니다.
AI 기업들은 데이터 해자와 특별한 공명을 이룹니다. 데이터와 AI는 동전의 양면과 같기 때문입니다. LLM은 학습, 미세 조정, 학습, 추론을 위해 방대한 양의 데이터를 필요로 합니다. 그리고 LLM은 이전과는 거의 다른 방식으로 데이터의 가치를 실현합니다. 비즈니스 모델 측면에서는 그야말로 완벽한 조합입니다. 3
모든 오래된 해자는 여전히 유효합니다. 예를 들어 브랜드나 네트워크 효과처럼요. 이러한 해자는 만들 수 있고, 또 만들어야 합니다. 하지만 이러한 해자는 AI와 직교하고 독립적입니다. 데이터 해자는 그렇지 않습니다. 데이터 해자는 AI의 장점을 강화하고, AI의 장점은 데이터 해자를 강화합니다.
데이터 해자란 무엇인가?
모두가 데이터 해자를 만드는 방법에 대해 이야기하고 있습니다. 해자는 공중에 있습니다. 4
안타깝게도 이 대화의 상당 부분은 잘못된 방향으로 흘러갑니다. 데이터 해자와 그 작동 방식에 대한 불완전하고, 일관성이 없거나, 단순히 시대에 뒤떨어진 생각들이 엄청나게 많습니다.
이러한 맥락에서 흔히 저지르는 실수는 데이터가 해자라고 생각하지만 실제로는 그렇지 않다는 점, 약한 데이터 해자에 지나치게 의존하는 점, 다른 해자(예: 규모)를 데이터 해자로 혼동하는 점, 데이터의 어떤 속성이 "해자성"에 기여하는지 오해하는 점, 소프트웨어 해자와 데이터 해자를 구분하지 못하는 점, 그리고 데이터 해자가 효과를 잃었다는 사실을 인지하지 못하는 점 등이 있습니다. 언더팬츠 그놈즈는 여전히 무패입니다. 5
사례 연구도 있을 거예요! 쉴 새 없이 쏟아지는 추측도 있을 거고! 직관에 어긋나는 결론도 있을 거예요! 입소문이 나길 바라는 재치 있는 문구도 있을 거예요! 그리고 얄밉게 덧붙이는 말도 있을 거예요! 6 계속 읽어보세요.
제어 및 루프
먼저 몇 가지 분류법을 살펴보겠습니다.
저는 데이터 해자(data moat)에는 정확히 두 가지 범주가 있다고 생각합니다. 저는 이를 데이터 제어(data control) 와 데이터 루프(data loops) 라고 부르는데, 모든 유형의 데이터 이점은 이 두 범주 중 하나 또는 둘 다에 속합니다.
데이터 제어. 중요한 자산에 대한 단독 통제권을 가지고 있다면, 해자를 확보한 셈입니다. 데이터 세계에서 이러한 통제는 고유성, 집계, 이동, 사용, 기록, 작업, 촉매 작용 등 다양한 형태로 나타납니다. 이 글의 1부에서는 데이터 제어에 대해 알아보겠습니다.
데이터 루프. 잘 알려진 많은 비즈니스 해자는 핵심 비즈니스 역학을 가속화하는 긍정적 피드백 루프 (7) 에 의존합니다. 예를 들어 시장 중력, 사용자 네트워크 효과, 프로토콜 도입 등이 있습니다. 여러 데이터 해자가 동일한 패턴을 보입니다. 이 글의 2부에서는 데이터 루프에 대해 알아보겠습니다.
1부: 데이터 제어
데이터를 제어한다는 것은 실제로 데이터의 가치를 제어한다는 것을 의미합니다. 다른 누구도 이 가치에 접근할 수 없을 때 참호가 생깁니다.
이를 위한 몇 가지 방법이 있습니다. (고유) 데이터의 생성 및 소유권을 제어하거나, 내부 또는 외부에서 데이터 이동을 제어하거나, 기술적 또는 기타 수단을 통해 데이터 사용을 제어할 수 있습니다. 가치 창출, 가치 전달, 가치 추출: 이러한 각 접근 방식은 데이터 해자(data moat)로 이어질 수 있습니다.
여기서 전제 조건은 제어되는 데이터가 유의미 해야 한다는 것입니다. 그렇지 않으면 "제어"는 무의미합니다. 아무 데도 가지 않는 도로에서 통행료를 징수하여 돈을 벌 수는 없습니다.
고유하고 독점적인 데이터
좋아요, 그럼 당신은 고유한 데이터를 생산, 수집 또는 소유하고 있나요? 아마 그 데이터는 제품 사용, 고객 행동, 업계 동향 등 다른 것에 관한 것일 수도 있겠죠. 해자가 있나요? 아마 없을 거예요.
고유한 데이터만으로는 데이터 해자를 구축하는 데 필수적이거나 충분하지 않습니다. 앞으로 살펴보겠지만, 데이터의 이동이나 사용을 제어하고 데이터 루프를 구축하는 것과 같은 (종종 더 나은) 다른 방법들이 있기 때문에 필수적이지 않습니다. 그리고 위에서 언급한 "의미성" 기준 때문에 충분하지도 않습니다. 이 기준은 무엇을 의미할까요?
데이터는 귀하 또는 귀하의 고객에게 상당한 가치를 제공해야 합니다. 가치 차이가 작으면 다른 분야에서 귀하보다 우수한 성과를 내는 경쟁업체에 추월당할 수 있으며, 이는 해당 데이터가 없더라도 마찬가지입니다. 가치 차이가 크면 추월당할 수 없습니다.
데이터는 진정으로 경쟁적 이어야 합니다. 당신이 데이터를 사용하면 다른 사람들이 사용하지 못하거나, 적어도 동일한 가치를 얻지 못하게 해야 합니다.
데이터는 기능적으로 대체될 수 없어야 합니다. 경쟁사는 어떤 데이터를 사용하든, 데이터가 유사하든 그렇지 않든, 유사한 결과를 달성할 수 없어야 합니다.
대부분의 데이터 세트는 이 세 가지 조건 중 하나도 충족하지 못하는데, 하물며 세 가지 조건을 모두 충족하는 경우는 더욱 드뭅니다. 하지만 세 가지 조건이 모두 충족된다면, 즉 자신만 사용할 수 있는 고유하고 가치가 높으며 대체 불가능한 데이터가 있다면, 해자를 확보할 수 있습니다. 8
역사적으로 이러한 데이터를 얻는 방법은 몇 가지가 있었습니다.
핵심 사업의 부산물 로서. (이를 연소 엔진의 배기가스에 비유하여 배기 데이터라고도 합니다.) 뉴욕증권거래소(NYSE) 와 나스닥(NASDAQ) 이 핵심 거래소 사업의 부산물로 수집하는 주식 시장 데이터가 좋은 예입니다. 하지만 이는 데이터 해자가 아닙니다. 핵심 사업 규모가 커지면 더 많은(또는 더 나은) 배기가스 데이터를 확보할 수 있지만, 그 반대는 사실이 아닙니다. NYSE의 데이터 판매는 거래소 사업에 "추가" 방어력을 제공하지 않습니다. 9
프로세스 파워를 통해. 많은 유수 데이터 기업들이 이 템플릿을 따릅니다. 팩트셋(Factset)의 재무제표 데이터, 무디스(Moody's)의 등급 데이터, 닐슨(Nielsen)의 미디어 소비 데이터를 생각해 보세요. 이 모든 데이터는 수십 년간 특정 데이터 세트를 다루고 그 미묘한 차이를 내재화해 온 전문성에 의존합니다. 이것이 바로 해자(moat)입니다. 데이터 해자라고 부르든 프로세스 해자라고 부르든 의미론의 문제입니다.
시간과 자원을 무차별적으로 투자하는 방식입니다. 이러한 패턴의 몇 가지 예로는 검색 엔진의 웹 크롤링, 물류 및 배송 회사의 도로 지도 작성, 그리고 운전자와 주변 환경의 상호작용을 기록하는 로보택시 등이 있습니다. 각 사례를 통해 기업은 기술 및 비즈니스 모델의 기반이 되는 데이터를 확보하게 되며, 다른 기업들은 이를 쉽게 복제할 수 없습니다. 이것이 바로 진정한 데이터 해자입니다. 하지만…
폭력적인 힘은 사라졌습니다...
무차별 대입 공격의 근간이 되는 사업 이론은 "내 자본 지출이 바로 당신의 진입 장벽이다"입니다. 기업들은 경쟁사보다 먼저 데이터를 확보하는 데 시간과 자원을 투자하고, 그 데이터를 활용하여 시장 지배력을 확보합니다.
안타깝게도 요즘에는 이 방법이 잘 작동하지 않습니다.
LLM은 데이터 수집을 더욱 쉽게 만들어 줍니다. 조금 더 쉬워지는 것이 아니라, 엄청나게 쉬워집니다. 수백 명의 큐레이터가 수천 시간씩 일할 필요 없이, AI 에이전트에게 데이터를 가져오라고만 하면 됩니다. 수년간 복잡한 인간 중심 데이터 파이프라인을 구축해 온 기업들은 이제 1%의 비용으로 작업의 99%를 복제할 수 있는 신생 기업들과 경쟁해야 합니다. 합성 데이터는 무차별 대입 방식을 우회하는 또 다른 방법입니다. 10
데이터 수집 자본은 저렴합니다. 자금 시장은 "쓰라린 교훈"과 "데이터의 비합리적인 효과"를 완전히 체감하고 있습니다. 결과적으로, 무차별 대입 공격(brute force)을 통한 데이터 수집에 필요한 자본은 그 어느 때보다 저렴해졌습니다. 무차별 대입 공격은 궁극적으로 시장 타이밍과 자본 비용에 대한 도박입니다. 이러한 요소들을 바꾸면 전략은 물거품이 됩니다. 11
지식은 확산되고, 역량은 향상됩니다. 구글이 2000년대에 구축한 전 지구적 규모의 인프라는 인터넷 전체를 빠르게 크롤링하고 색인할 수 있게 해 주었고, 이는 그들에게 큰 위협이었습니다(물론 모든 공은 페이지랭크에게 있지만요). 오늘날에는 수십 개의 회사가 훨씬 저렴하게 동일한 작업을 수행할 수 있습니다. 지식은 확산되고, 도구는 향상되고, 하이퍼스케일러는 컴퓨팅 가능한 모든 것을 서비스화하며, 무어의 법칙은 거침없이 발전합니다. 어제의 우위는 오늘의 상품이 됩니다.
"데이터"라는 용어를 확장해서 사용하면 이러한 효과가 더욱 뚜렷해집니다. 스튜디오 지브리는 수십 년 동안 다른 애니메이션 스튜디오에서는 흉내 낼 수 없는 아름다운 시각적 스타일을 완성하기 위해 심혈을 기울였습니다. 바로 독창적인 콘텐츠를 만들어내는 무차별적인 힘의 정수입니다.
그리고 지난달, ChatGPT에서는 누구나 지브리 스타일의 예술 작품을 만들 수 있는 문을 열었습니다.
이것이 창의성, 지적 재산권, 민주화, 예술가 경제학에 미치는 영향은 이 글의 범위를 벗어나지만, LLM이 단순한 "노력"을 덜 방해한다는 기본 주제는 분명합니다.
... 폭력이여 영원하라!
그렇다면 무차별 대입 공격으로 인한 데이터 수집은 이제 과거의 유물일까요? 그렇지 않습니다. 무차별 대입 공격이 여전히 유효한 몇 가지 사례가 있습니다.
정확도, 커버리지, 또는 품질의 마지막 1%가 의미 있는 차이를 만들어내는 산업, 예를 들어 금융 산업에서 말이죠. (그리고 예술 분야도! 아직 미정입니다.)
LLM의 상류 - 예를 들어 LLM이 학습할 수 있는 데이터 레이블링( Scale , Mercor 및 유사), 합성 데이터 파이프라인, 독점적 평가 등.
조각난 데이터
데이터를 제어하는 두 번째 강력한 방법은 정보 센터 , 즉 분산된 데이터 자산이나 데이터 가치를 통합하는 중앙 저장소 역할을 하는 것입니다.
분산된 데이터를 통합/집계한 후 소프트웨어 서비스를 통해 수익을 창출하는 것이 목표입니다. 몇 가지 예시를 소개합니다.
어느 경우든 수집된 데이터는 비즈니스 제공에 필수적이면서도 다른 사람들이 수집하기 어려운 데이터, 즉 데이터 해자가 됩니다.
정보는 행동을 낳는다
좀 더 넓은 관점에서, 우리는 무엇을 통합하고 있을까요? 데이터죠. 하지만 어떤 데이터이고, 왜 통합하는 걸까요?
본질적으로 이는 행동의 기반이 되는 데이터입니다. 규칙과 규정은 준수되어야 하며, 대부분 결정론적입니다. 즉, 행동으로 직접 이어집니다. 항공편 정보는 항공권 예약이라는 행동에 필요충분조건이며, 판매 정보 또한 홍보 활동에 필요합니다. 정보는 행동을 촉발합니다. 12
데이터 통합은 정말 어렵기 때문에 좋은 해자가 됩니다. 게다가 액션 계층을 위에 놓는 데이터 통합은 도메인 특화를 요구하는 경우가 많기 때문에 더욱 어렵습니다.
판매 강화는 시간이 지남에 따라 경계가 어떻게 변화하는지 보여줍니다. D&B 에서 Clearbit , ZoomInfo , Apollo , Clay 로 이어지는 과정은 분산된 데이터를 통합하고, API로 접근 가능하게 하고, 네트워크 효과를 활용하고, 워크플로를 추가하고, AI 액션을 계층화하여 가치를 창출하는 과정을 보여줍니다.
데이터 이동 제어
이는 모호한 범주입니다. 부분적으로는 경계 때문입니다. 데이터 이동은 어디에서 끝나고 데이터 사용은 어디에서 시작될까요? 그리고 부분적으로는 중복 때문입니다. 이러한 유형의 통제력을 가진 기업들은 데이터 및 비데이터 전략을 결합하여 이를 달성하는 경우가 많습니다. 몇 가지 예를 살펴보겠습니다!
비자는 아마도 비즈니스 역사상 가장 유명한 네트워크 효과를 가지고 있을 것입니다. 13. 흥미롭고 (어쩌면 도발적인) 주장은 비자의 네트워크 효과가 주로 데이터 이동 통제에 기반한다는 것입니다.
생각해 보세요. 제가 신용카드로 물건을 살 때 실제로 돈이 흐르는 것은 아닙니다. 대신 고객 이름 및 인증, 거래 내역, 신용 한도, 미결제 잔액, 가맹점 및 은행 ID, 결제 일정 등의 데이터가 흐릅니다 . 돈은 훨씬 늦게 흐르고, 일대일로 거래되지도 않습니다.
비자 네트워크는 소비자, 가맹점, 결제 게이트웨이, 결제 처리업체, 인수 은행, 발급 은행 등 다양한 주체에 걸쳐 이 모든 것을 조율합니다. 노드와 엣지는 네트워크 효과이며, 이러한 노드와 엣지에 대한 지식(및 제어)은 데이터 해자입니다.
모든 중개 사업은 탈중개화에 취약합니다. 비자의 경우, 가맹점은 고객 신용 점수에 대해 문의하기 위해 은행과 직접 소통할 수 있습니다. 하지만 실제로는 그렇지 않습니다! 비자는 이러한 상호작용을 통제합니다. 비자는 네트워크 전반의 거의 모든 데이터 이동을 통제합니다. 네트워크의 (엄청난) 복잡성을 추상화하는 것이 바로 참여자들을 참여시키고 이탈을 방지하는 것입니다. 실제로 데이터 통제는 네트워크 효과의 근간을 이룹니다.
아마데우스 와 세이버는 여행 업계를 위한 특화된 비자와 같습니다. 항공사, 호텔, 렌터카, 여행사 및 애그리게이터, 그리고 물론 여행객 간의 데이터(재고, 예약, 신원) 흐름을 제어합니다. 체인지 헬스케어 는 의료 업계를 위한 비자로, 환자, 의료 서비스 제공자, 보험 회사, 그리고 정부 지불 프로그램 간의 데이터(및 결제) 흐름을 제어합니다.
외부 데이터 이동을 통제하는 기업은 수익성이 높지만, 드물다. 고객사의 데이터 흐름을 내부적으로 관리하는 기업이 더 흔하다. 그들에게도 해자가 있을까?
일반적으로 그렇지 않습니다. 데이터 이동을 관리하는 것은 제어하는 것과 다릅니다. 소프트웨어 도구의 99%가 데이터를 이동하는 역할을 하는데, 이러한 도구 대부분은 자명하게도 해자(moat)가 없습니다.
예외는 규제가 엄격한 산업의 데이터 흐름 입니다. 예를 들어 의료 분야에서는 환자 데이터가 매우 민감하기 때문에 함부로 접근하거나 이동할 수 없습니다. 따라서 Epic 과 같은 기업은 내부 데이터 접근 관리를 전문으로 하며(이는 기록 시스템 효과이기도 합니다. 아래 참조), Datavant 와 같은 기업은 보안과 개인정보 보호를 유지하면서 조직 간 데이터 전송을 전문으로 합니다(데이터 표준 효과를 통해, 아래 참조). 이러한 기업들을 완전히 없애는 것은 쉽지 않습니다. 장점은 제한적이고 단점은 크기 때문에 대부분의 고객은 변경하지 않고 그대로 사용합니다. 14
데이터 사용량
데이터 제어의 마지막 유형은 가장 강력합니다. 바로 데이터 사용을 제어하는 것입니다. 이는 기록 및 조치 시스템, 촉매 데이터, 그리고 외생적 데이터 해자를 포괄하는 광범위한 하위 범주입니다.
기록 시스템
시스템 오브 레코드 (SoR)는 가장 오래되고, 가장 잘 알려지고, 가장 효과적인 데이터 모트 중 하나입니다.
대규모 조직에서는 정보가 산발적으로 존재합니다. 엑셀 파일과 데이터베이스, 이메일과 슬랙 채널, PDF와 자료, 사용자 매뉴얼과 정책 안내서, 계약서와 서류 정리 등 다양한 곳에 정보가 흩어져 있습니다.
이 모든 분산된 정보를 통합하는 플랫폼을 소유하는 데는 상당한 방어력이 있습니다. 이러한 플랫폼을 "기록 시스템"이라고 하며, 목표는 이 플랫폼이 조직의 "단일 진실 소스"가 되는 것입니다. 데이터는 SoR로 전송되고, 질의는 SoR로 전달되며, 답변은 SoR에서 제공됩니다. 정보가 SoR에 있으면 사실이라고 가정할 수 있지만, 그렇지 않으면 그럴 수 없습니다. 15
SoR의 대표적인 사례는 Salesforce 입니다. Salesforce는 기업이 고객 및 영업 파이프라인에 대해 알아야 할 모든 정보를 수집합니다. 날짜, 연락처 정보, 상호작용 내역, 파이프라인 단계, 예상 가치, 영업 기회에서 거래 성사까지의 진행 상황, 마케팅 캠페인, 고객 서비스 및 사례 관리 등 훨씬 더 많은 정보를 수집합니다. 모든 영업 조직은 Salesforce를 기반으로 운영되며, Salesforce 없이는 운영될 수 없습니다.
Salesforce는 다른 분야에서도 유사점을 보입니다. 실제로 이는 SoR에서도 흔히 볼 수 있습니다. 조직의 모든 데이터를 단일 SoR에 통합하는 것은 비실용적이고 비효율적입니다. 대신 각 기능별로 별도의 SoR이 존재합니다. Salesforce는 영업 기능을 담당하고, Oracle은 재무 관리, Workday는 인사, Quickbooks는 회계, Ariba는 공급망 관리 등을 담당합니다. 이러한 각 SoR은 해당 기능의 단일 진실 소스 역할을 합니다. 16 17 18
다음 SoR 회사 중 일부의 창립 연도를 살펴보는 것이 좋습니다.
SAP: 1972
오라클: 1977
서사시: 1979
퀵북스: 1983
아리바: 1996
조호: 1996
세일즈포스: 1999
정말 놀랍네요. 이런 기업들은 정말 오래 운영되고 있습니다. 특히 소프트웨어의 변화 속도를 고려하면 더욱 그렇습니다. 엄청난 해자를 가지고 있을 테니까요.
SoR은 왜 그렇게 끈적끈적할까?
Salesforce는, 굳이 말하자면, 널리 사랑받는 제품은 아닙니다. 아무도 Salesforce 인스턴스에 열광하지 않습니다. 하지만 Salesforce 없이는 살 수 없습니다. Salesforce는 정말 끈끈하기 때문입니다.
왜 그럴까요? Salesforce가 데이터 사용을 통제하기 때문입니다. 잠재 고객과 고객에 대한 "정확한" 데이터가 필요하다면 Salesforce 19 에서 확보 해야 합니다 . Salesforce가 없다면 아무것도 할 수 없습니다. 잠재 고객에게 이메일을 보내고, 상태를 업데이트하고, 고객의 요구를 파악하고, 계약을 체결하고, 계약 체결 후 지원을 제공하고, 파이프라인을 모델링하고, 캠페인을 운영하는 등 어떤 일도 할 수 없습니다. Salesforce는 내부 판매 데이터를 독점하고 있습니다.
더욱이, 이러한 특권적인 위치 때문에 대부분의 Salesforce 인스턴스에는 수년간 "워크플로 따개비"가 붙어 다닙니다. 이는 절차적인 측면, 즉 영업 및 마케팅, 고객 성공 담당자가 따라야 하는 규칙과 기술적인 측면, 즉 Salesforce가 데이터를 읽고, 쓰고, 수정하고, 시각화하고, 표현하고, 분석할 수 있는 다양한 서드파티 도구를 앱 스토어 전체에 걸쳐 보유하고 있다는 점입니다.
Salesforce는 훌륭하지는 않지만, 인스턴스를 완전히 분리하고 모든 데이터를 내보내고 다른 곳에 로드하고 모든 앱 기능을 복제하고 모든 사용자를 전환하고 다시 완전한 생산성 흐름으로 돌아가는 데 얼마나 많은 작업이 필요할지 생각하면 거의 모든 전환 담당자가 겁을 먹습니다. 이는 대부분의 대규모 SoR에도 해당되며, 바로 이 때문에 SoR이 해자로 둘러싸여 있는 것입니다. 20
더 이상 끈적거리지 않아?
그리고 LLM이 등장했습니다. SoR에서 데이터를 내보내는 것은 AI 에이전트가 능숙하게 처리하는 지루한 작업이라는 것이 밝혀졌습니다.
최근 몇 년간 제가 가장 좋아하는 시장 진출 전략 중 하나는 SoR 혁신을 꿈꾸는 기업들이 모든 마이그레이션 작업을 직접 수행하겠다고 제안하는 것입니다. 데이터를 내보내고, 새 시스템에 적용하고, 새로운 앱 후크를 추가하는 등 모든 것을 직접 해 주겠다고 말이죠. 여기서 중요한 점은 이것이 "위험"이 아니라 "비용"이라는 점입니다. 공급업체들은 수년간의 LTV(고객 생애 가치)를 보장받는 대가로 기꺼이 그 비용을 지불합니다.
아이러니하게도, 이 GTM(Global Marketing Target)은 비용이 너무 많이 내려가지 않는 것이 더 나을 것입니다. SoR 마이그레이션의 어려움은 낮은 이탈률과 높은 LTV(고객 가치 평가)로 이어지기 때문에, 벤더로서 마이그레이션 작업에 대한 투자를 정당화합니다. 하지만 마이그레이션 비용이 너무 낮아지면 다른 업체들이 당신에게도 똑같이 할 수 있습니다. 이탈률은 다시 상승하고 LTV는 떨어지며, 곧 바닥을 향한 경쟁에 뛰어들게 됩니다. 데이터 점도는 당신의 친구이지만, 그렇지 않을 수도 있습니다.
행동 시스템
기록 시스템은 내부 데이터에 대한 독점권을 가지고 있습니다. 이러한 통제는 시스템을 가치 있고 방어적으로 만듭니다. 하지만 더 많은 일을 할 수 있다면 어떨까요?
결국, 데이터의 가치는 전적으로 데이터를 어떻게 활용할 수 있느냐에 달려 있습니다. SoR이 데이터가 사라지는 곳이 되기를 바라지 마세요. 21 데이터를 기반으로 조치를 취해야 합니다.
이러한 생각은 다음의, 어쩌면 더욱 강력한 유형의 데이터 해자, 즉 행동 시스템 (SoA)으로 이어진다.
액션 시스템은 단순히 데이터를 수동적으로 저장하는 것이 아니라, 그 위에 액션을 구현합니다. SoA와 SoR을 구분하는 핵심이자 차이점은 이러한 액션이 얼마나 구체적인가 입니다. 액션 계층이 데이터 계층 및 사용자 기능과 얼마나 잘 조화를 이루는가 입니다.
에이전트 시스템
다음 단계는 시스템이 스스로 조치를 취하는 것입니다. 잠깐... 지금 들리는 음악은 누구의 음악인가요?
기록 시스템은 데이터를 저장하고, 행동 시스템은 인간이 데이터에 따라 행동할 수 있도록 지원하며, 에이전트 시스템은 데이터에 따라 스스로 행동합니다 .
위의 예를 계속 살펴보겠습니다. 소프트웨어 SoR/코드 저장소에서 사람들이 주로 하는 작업은 무엇일까요? 바로 프로그래밍입니다!
LLM은 프로그래밍에 매우 능숙한 것으로 나타났습니다.
어떤 접근 방식이 승리할까요? 100억 달러짜리 질문입니다. 22 저는 파괴자 이론에 대한 이 요약을 좋아합니다.
반대 주장은 SoR 소유자가 이러한 앱을 차단하고 스스로 앱을 구축한 후 사용자에게 제공되는 개선 사항을 빠르게 따를 것이라는 것입니다. 그리고 데이터와 배포 분야에서 앞서 나가면 시장을 선점하기에 충분할 것입니다. 23
외생적 통제
다음 데이터 해자는 제가 외생적 통제 라고 부르는 포괄적인 범주입니다. 이 패턴에서는 데이터 자체의 속성이나 데이터를 관리하는 소프트웨어의 속성이 아닌, 외부의 당근이나 채찍을 통해 데이터 사용을 통제합니다. 몇 가지 예를 들면 다음과 같습니다.
IP 권리 : 데이터가 SoR에서 고유하든, 단편화되어 있든, 프로세스 파워로 보호되든, 아니면 그 어느 것도 해당되지 않든 상관없습니다. 사용에 대한 독점적인 IP 권리가 있다면, 그 데이터를 통제할 수 있습니다. S&P 500 지수를 생각해 보세요. 기초 데이터는 공개되어 있고 지수 자체도 복제하기가 매우 쉽습니다. 하지만 S&P 글로벌은 자산 운용사(벤치마킹 및 ETF), 거래소(지수연계 파생상품), 은행(구조화 상품)에 라이선스를 제공하여 연간 약 10억 달러를 벌어들입니다. 24
계약적 독점 : 유리한 계약을 통해 주요 데이터 소스를 독점하는 경우입니다. 효율적인 시장에서는 불가능하지만, 데이터 시장은 효율적이지 않습니다. 데이터 세트의 가격이 (대폭) 잘못 책정되는 경우가 많습니다. 안타깝게도 이러한 해자는 일시적입니다. 데이터가 가치를 지닌 것으로 판명되면 계약 갱신 시 거의 확실히 재협상될 것입니다. 이 경우 최선의 전략은 계약적 해자를 활용하여 다른 방어 수단을 확보할 시간을 벌는 것입니다. IQVIA는 약국 데이터에서 정확히 이를 수행했지만, Neustar는 통신 데이터에서 이를 수행하지 못했습니다.
규제 및 준수의 해자 : 정부가 특정 데이터 세트의 사용을 의무화하면 해당 데이터를 소유, 관리 또는 구현하는 기업에는 해자가 됩니다. 이와 관련된 좋은 사례로 에너지 스타(ENERGY STAR) 프로그램을 들 수 있습니다. ICFI , Leidos , DNV , Guidehouse 와 같은 기업들은 정부 및 민간 부문 고객 모두에게 이러한 인증을 제공함으로써 매년 막대한 수익을 창출합니다. CAFE, 대기 및 수질, FDA 라벨링 등과 같은 다른 프로그램들도 유사한 패턴을 보입니다.
외생적 통제는 종종 정부 조치와 연관되어 있다는 것을 알 수 있을 것입니다. 그리고 정부 조치는 매우 관성적입니다. 시작하기도 어렵지만, 일단 시작하면 중단하기가 더 어렵습니다. 국가 지원 데이터 해자! 25
촉매 데이터
고유 데이터의 한 유형으로 언급할 가치가 있는 것은 촉매 데이터 입니다. 촉매 데이터는 다른 데이터의 사용을 활성화하거나 활성화하는 데서 가치를 얻는 데이터입니다. 이 범주는 "간접 제어"의 한 유형이기 때문에 흥미롭습니다. 활성화된 데이터를 직접 제어할 필요는 없고, 고유하거나 독점적인 데이터는 아니더라도, 그 데이터에서 가치를 추출할 수 있는 능력은 제어할 수 있습니다. 즉, 불균형적인 경제적 이익을 확보할 수 있다는 의미입니다.
다음은 몇 가지 예입니다. 각각의 경우에서 "활성화"는 "물질적으로 가치를 증가시킨다"는 의미입니다.
Google : 사용자 의도 데이터가 검색 결과 데이터를 활성화합니다.
Amazon : 구매 내역 데이터가 제품 목록 데이터를 활성화합니다.
Acxiom : 고객 프로필 데이터를 통해 기본 마케팅 목록이 활성화됩니다.
모든 소셜 미디어 회사 : 시청자 기록은 새로운 콘텐츠를 활성화합니다.
CUSIP, DUNS, LiveRamp, Datavant: 고유 식별자를 통해 분산된 정보 활성화
FICO, Nielsen, 신용평가기관, IQVIA: 합의 벤치마크는 고정되지 않은 성과 데이터를 활성화합니다.
각 예시에서 두 번째 데이터 세트는 그 자체로도 어느 정도 기본적인 가치를 지녔지만, 첫 번째 데이터 세트를 추가함으로써 그 가치가 훨씬 더 커집니다. 실제로, 위의 기업들이 "활성화된" 데이터 세트의 가치를 극대화하는 방법을 최초로 발견했기 때문에 해당 산업을 장악하게 되었다고 주장할 수도 있습니다. 26
촉매 데이터의 흥미로운 측면은 경험적으로 승자독식 또는 적어도 승자독식 시장으로 이어지는 것으로 보인다는 점입니다. 이는 부분적으로 생존 편향에 기인합니다. 결국, 엄청난 결과를 가져 오지 않는 촉매 데이터 세트는 들어본 적이 없으니까요.
하지만 이는 두 가지 패턴을 반영하기도 합니다. 첫째, 촉매 데이터는 제대로 작동할 경우 매우 효과적인 경향이 있습니다. (활용되지 않았지만 종종 수익성이 높은) 데이터 자산에 상당한 가치를 더해 줍니다. 둘째, 촉매 데이터는 업계 표준, 합의 벤치마크, 사용자 네트워크 효과 등 다양한 데이터 루프와 연동되는 경우가 많습니다. 이 글의 후반부에서 이에 대해 더 자세히 살펴보겠습니다.
데이터 제어, 요약
지금까지 배운 내용을 요약한 편리한 차트는 다음과 같습니다.
막간
이 글의 절반쯤 썼어요. 아직 제 뉴스레터를 구독하지 않으셨다면, 지금 구독하세요!
저는 데이터, 투자, 스타트업 등 제가 상당한 전문 지식을 보유하고 있는 주제에 대해 심도 있고 독창적인 탐구를 가끔씩 쓰고 있습니다. 자세한 내용은 여기를 참조하세요 .
2부: 데이터 루프
데이터 해자의 두 번째 주요 범주는 데이터 루프 입니다. 이는 데이터와 비즈니스 가치를 선순환 구조 로 연결하는 긍정적 피드백 과정입니다. 데이터는 비즈니스를 개선하고, 비즈니스는 데이터를 개선합니다("개선"이라는 단어의 의미처럼). 이렇게 플라이휠은 어떤 경쟁사도 따라잡을 수 없을 만큼 빠르게 회전합니다.
많은 사람들에게 이는 가장 익숙한 형태의 데이터 해자입니다. 27 하지만 가장 오해받는 형태이기도 합니다. 어떤 데이터 루프는 강력하고 확실한 해자를 만듭니다. 다른 데이터 루프는 약하거나, 규모가 제한적이거나, 숨겨진 취약점을 가지고 있습니다. 또 다른 루프는 효과적이지만, 데이터 해자는 아닙니다. 규모나 네트워크 효과에 의존하며, 데이터 부분을 제거해도 손실이 발생하지 않습니다.
데이터 루프에는 세 가지 주요 유형이 있습니다. 수량 루프, 학습 루프, 사용/가치 루프입니다. 각 유형을 자세히 살펴보겠습니다.
수량 루프
수량 루프는 데이터 루프 중 가장 간단한 유형입니다. 즉, 데이터가 데이터를 끌어당깁니다 . 이는 여러 가지 메커니즘을 통해 발생할 수 있습니다.
사용자 생성 콘텐츠(UGC) 루프
이것이 바로 페이스북, 유튜브, 인스타그램, 틱톡, X , 심지어 링크드인까지 이어지는 순환 고리입니다. 이 모든 플랫폼은 사진, 비디오, 게시물, 이력서 등 사용자 제작 콘텐츠를 무료로 제공합니다. 이러한 콘텐츠는 다른 사용자들을 끌어들이고, 그들은 더 많은 콘텐츠를 게시합니다. 콘텐츠가 많을수록 사용자도 많아지고, 콘텐츠가 많을수록 추천도 좋아지고, 결과적으로 사용자도 늘어납니다. 이러한 사용자(그리고 그들의 관심!)의 존재는 광고주들을 끌어들이고, 광고주는 이 모든 것을 지원합니다.
물론 콘텐츠는 데이터의 다른 표현일 뿐입니다. 이는 완벽한 데이터 양 루프이며, 성숙 단계에 이르면 수익성이 높으면서도 대체하기 매우 어렵습니다.
이 루프를 사용하여 엄청난 규모에 도달했지만 결국 실패한 기업들도 흥미롭습니다. MySpace, Tumblr, Quora, Vine, Digg, 그리고 아마도 Stack Overflow를 생각해 보세요. 28 그들의 (소위) 데이터 해자는 어떻게 되었을까요?
그 이유는 다양합니다. 실패는 과대평가된 탓입니다! 재앙적인 M&A(News Corp의 MySpace, Yahoo의 Tumblr), 효과적인 수익화 실패(Quora의 유료화), 자초한 상처(Tumblr의 NSFW 금지), 제품상의 실수와 기술 부채(대부분), 그리고 정점에 있는 포식자 Facebook과의 경쟁(전부) 등이 있습니다. 29 30
하지만 근본적으로 이것들은 단지 계기일 뿐입니다. UGC 데이터 루프의 문제점은 쌓이는 것만큼이나 빠르게 역전될 수 있다는 것입니다. 모두가 불빛이 가장 밝은 곳으로 가고, 반대로 모두가 유령 도시에서 도망칩니다. 실수는 신속하게 되돌리지 않으면 사형 선고가 됩니다. 모멘텀은 변덕스러운 친구입니다. 따라서 이 해자는 기만적 입니다. 보이는 것보다 훨씬 더 취약합니다.
검색 엔진 최적화(SEO) 루프
일단 확장되면, 전통적인 UGC 루프는 사용자가 절대 떠나지 않거나 떠나고 싶어하지 않는 콘텐츠의 "폐쇄된 정원"으로 이어지는 경향이 있습니다. 하지만 사용자가 지속적으로 재유입되는 매우 유사한 루프가 하나 더 있는데, SEO는 이러한 재유입의 원동력입니다.
이것이 바로 SEO 데이터 루프 입니다. 사용자가 콘텐츠를 생성하거나 플랫폼 자체가 프로그래밍 방식으로 콘텐츠를 생성합니다. 특정 콘텐츠를 찾는 다른 사용자는 Google이나 다른 검색 엔진을 통해 플랫폼을 찾습니다. 31
"특정 콘텐츠를 찾는 것"이라는 문구가 중요합니다. UGC 루프와 달리 SEO 루프는 피드 중심이 아니라 작업 중심 입니다. 콘텐츠는 유용 해야 하며 사용자의 검색어에 실제로 답해야 합니다.
유용한 콘텐츠의 예로는 무엇이 있을까요? 다양한 콘텐츠가 있습니다.
Reddit 과 Quora는 특정 질문에 답변합니다.
익스피디아 , 부킹 , 카약 등은 여행 정보와 액션을 제공합니다.
Yelp 와 TripAdvisor는 서비스 리뷰를 제공합니다.
Zillow 는 주택 가격을
Glassdoor 와 LinkedIn은 직업 생활의 다양한 측면을 다룹니다.
이러한 기업들은 각기 다른 방식으로 수익을 창출합니다. 광범위한 수평 플랫폼은 광고를 통해 수익을 창출하는 경향이 있는 반면, 수직 플랫폼은 주로 제휴 마케팅이나 리드 생성을 통해 수익을 창출합니다. 그리고 구독이나 서비스를 통해 수익을 창출하는 플랫폼도 있습니다. 특히 리드 생성은 보험, 금융 상품, 법률 서비스, 의료, 교육, 여행, 주택 관리 등 수익성이 매우 높아, 공급업체 데이터를 수집하고, 구글 트래픽을 확보하고, 소개료를 받는 서비스 디렉토리라는 소규모 산업이 형성될 정도입니다.
각 경우, 더 많은 데이터를 추가하면 해당 사이트의 검색 형평성이 향상되어 트래픽이 증가하고, 결과적으로 (직접적이든 간접적이든) 더 많은 데이터가 생성됩니다. 플라이휠이 풀리고 해자가 마련됩니다.
이 해자는 얼마나 깊을까요? 구글 시대, 대략 2005년부터 2020년까지는 정말 엄청나게 깊었습니다. 이 루프를 이용해서 수십억 달러 규모의 여러 기업이 설립되고 방어되었습니다.
하지만 이 시대는 이 해자와 함께 종말을 맞이할 지도 모릅니다. 한 가지 이유는 과포화 상태입니다. AI 관련 허술한 정보가 너무 많아 구글 검색의 유용성이 떨어지고 있습니다. 32 , 33 또 다른 이유는 중개 기능의 부재입니다. LLM(법률 전문가 )은 이미 순전히 정보 제공을 위한 질의에 대한 검색을 대체하고 있으며, 상담원들은 곧 탐색 및 거래 관련 질의에 대해서도 동일한 조치를 취할 것입니다. 이는 SEO 루프의 기반이 되는 검색-학습-선택-구매라는 전체 과정을 우회하게 될 것입니다. 34 SEO 루프의 마지막 역풍은 유료 콘텐츠와 로그인 뒤로 콘텐츠가 이동하는 것입니다. 사람들은 데이터 자산을 잠그고 있습니다. 완전히 개방된 웹은 이제 안녕입니다.
Stack Overflow는 경고적인 이야기를 제공합니다. 인기 프로그래밍 사이트에 매달 게시되는 질문들을 담은 이 그래프는 Gergely Orosz 가 Theodore Smith 의 데이터를 기반으로 작성했으며, 모든 것을 말해줍니다.
SaaS 데이터 중력
경험적으로 소프트웨어도 비슷한 패턴을 보입니다. 즉, 확산이 집중으로 대체되는 것입니다. 작동 원리는 다음과 같습니다.
하지만 어떤 소프트웨어 도구가 확장 가능하고, 어떤 도구가 실패할까요? 별 형성에 비유하면 답이 나옵니다. 이미 특정 지역에 집중하는 도구가 승리합니다.
그리고 때로는 "데이터"가 국지적으로 집중되는 경우도 있습니다. 이것이 바로 데이터 중력 입니다.
가장 중요하거나 가치 있는 데이터를 제어하는 도구는 주변적이거나 생산성이 낮거나 통합성이 부족한 데이터를 다루는 도구를 삼키는 경향이 있습니다.
Toast 는 이 부분에서 훌륭한 사례 연구입니다. Toast는 레스토랑용 POS(판매 시점 관리) 시스템으로 시작했습니다. 매장 내 주문 데이터를 확보함으로써 주방 디스플레이 티켓, 온라인 및 모바일 주문, 소비자 대상 앱, 배달 통합, 상품권, 결제, 그리고 궁극적으로 레스토랑 재무, 급여, 인사 등으로 확장할 수 있는 유리한 위치를 점했습니다. 다른 모든 기능은 자체 데이터를 보유한 경쟁 앱이 있었지만, Toast의 POS 데이터는 가장 중요하고 핵심적인 역할을 했습니다. POS 데이터의 중력 덕분에 Toast는 나머지 모든 것을 흡수할 수 있었습니다. 35
SoR에는 본질적으로 성장 에 대한 요구나 기대가 없습니다. 정적일 때에도 완벽하게 고정되어 있습니다. 하지만 데이터 중력 루프에서는 성장이 모든 것을 결정합니다. 데이터 적용 범위, 제품 사용 사례, 사용자 수, 표면적의 증가가 중요합니다. 36
수직적 SaaS의 데이터 중력은 최고의 데이터 참호 중 하나입니다. 그 이유는 워크플로, 신뢰, 수익 제어, 네트워크 효과 등 다른 많은 (비데이터) 참호에 영향을 미치기 때문입니다.
Give-To-Get(G2G) 루프
이는 데이터 비즈니스에서 잘 알려진 패턴입니다. G2G 루프 에서 비즈니스 고객은 (때로는 데이터를 제공하는 경우에만) 데이터를 받습니다. 비즈니스의 데이터가 많을수록 고객에게 더 매력적으로 다가가고, 따라서 고객이 가입하고 데이터를 제공할 가능성도 높아집니다! 따라서 특정 초기 임계 질량을 넘어서면 긍정적인 피드백이 시작됩니다.
순수한 '주고받기' 루프는 제공된 데이터와 받은 데이터가 동일 할 때 발생하며, 가치는 집계를 통해 창출됩니다. Waze가 좋은 예입니다. 사용자는 (개별적으로) 교통 데이터를 제공하고 (집계된) 데이터를 받습니다. 실제로 지리적 집계는 G2G 모델에서 공통적인 주제로 보입니다. OpenStreetMap, Weather Underground, GasBuddy를 생각해 보세요.
