"200개의 AI 스타트업 중, 제품의 73%는 실제로는 단지 '셸'일 뿐이며, 주로 ChatGPT와 Claude를 셸로 사용합니다!"
이러한 결론은 큰 타격을 입혔고 AI 스타트업 커뮤니티 내에서 상당한 논란을 불러일으켰습니다.
2023년을 회고하며 OpenAI의 CEO인 샘 알트먼은 "ChatGPT는 결국 사라질 운명이다"라고 직설적으로 말했습니다.
하지만 현실은 정반대입니다. ChatGPT의 폭발적인 인기로 기업가적 열정이 휩쓸었고, 수많은 투자가 쏟아졌으며, 일부 회사는 제품을 출시하기도 전에 상당한 주목을 받았습니다.
소프트웨어 엔지니어 테자 쿠시레디는 데이터를 활용하여 이 "붐"의 진실을 일부 밝혀냈습니다. 그는 200개 AI 기업의 코드를 역설계하고 디컴파일하여 API 호출을 추적했습니다. 그 결과, "파괴적 혁신"을 주장하는 많은 기업들이 핵심 기능은 여전히 외부 서비스에 의존하고 있으며, 단지 외부에 "혁신"이라는 요소를 덧붙일 뿐이라는 사실을 발견했습니다. 시장의 과장된 기대와 현실 사이의 간극은 엄청납니다.
그렇다면 투자자들은 "완전히 무지한" 걸까요, 아니면 AI 스타트업들이 "과대광고에 너무 능숙한" 걸까요? "자체 개발"과 "쉘 기반"의 경계는 어떻게 정해질까요? 다음으로, 테자 쿠시레디가 장문의 글을 통해 1인칭 관점에서 밝힌 최신 연구 결과와 결론을 살펴보겠습니다.
"역엔지니어링"을 시작하는 이유는 무엇입니까?
지난달, 저는 예상치 못한 "토끼굴"에 빠져 혼란스러워졌습니다. 아주 간단한 질문으로 시작했지만 결국 AI 스타트업 생태계 전체에 대한 제 이해에 의심이 들기 시작했습니다.
그날 새벽 2시였습니다. 웹훅 통합을 디버깅하던 중 우연히 뭔가 잘못되었다는 것을 발견했습니다.
"딥 러닝 인프라를 독자적으로 개발했다"고 주장하는 회사가 몇 초마다 OpenAI의 API를 호출하고 있습니다.
이 회사는 "완전히 다른 AI 기술을 만들었다"고 주장하며 투자자들로부터 430만 달러를 모금했습니다.
그 순간, 나는 이 문제가 실제로 얼마나 복잡한지 철저히 조사하기로 결심했습니다.
설문 조사 방법: 설문 조사 수행 방법
저는 "직관"과 불평에 기반한 뜨거운 논평을 쓰고 싶지 않습니다. 저는 데이터, 실제 데이터를 원합니다.
그래서 저는 도구 설정을 시작했습니다.
그 다음 3주 동안 저는 다음과 같은 일을 했습니다.
우리는 YC, Product Hunt, LinkedIn의 "채용 중" 게시물에서 200개 AI 스타트업의 웹사이트를 크롤링했습니다.
- 60초 동안 네트워크 트래픽 세션을 모니터링합니다.
- JavaScript 번들 파일을 디컴파일하여 분석했습니다.
- 캡처된 API 호출은 알려진 서비스의 지문 데이터베이스와 비교됩니다.
- 마지막으로, 우리는 그들이 마케팅 페이지에 올린 주장과 실제 기술 구현을 비교했습니다.
저는 창업한 지 6개월이 지나지 않은 회사(이러한 팀은 아직 탐색 단계에 있음)를 특별히 제외하고, 이미 외부 융자 지원받고 공개적으로 "독점적인 기술"을 보유하고 있다고 주장하는 스타트업에 집중했습니다.
저는 놀라운 데이터를 받았습니다.
조사 결과, 기업의 73%가 주장하는 기술과 실제 구현 사이에 상당한 차이가 있는 것으로 나타났습니다.
200개의 AI 스타트업은 다음과 같이 분류될 수 있습니다.
하지만 정말 충격적인 건 숫자만이 아니었습니다. 더 놀라운 건 제가 그 사실에 전혀 화가 나지 않았다는 사실이었습니다.
다음으로, 이를 단계별로 나누어 살펴보겠습니다. 이는 세 가지 모드로 나눌 수 있습니다.
모드 1: 소위 "자체 개발 모델"은 실제로는 몇 가지 추가 작업이 적용된 GPT-4일 뿐입니다.
"우리가 자체 개발한 대규모 언어 모델"과 같은 문구를 볼 때마다 다음에 무엇이 발견될지 거의 예측할 수 있습니다.
그 결과, 저는 37번 중 34번을 정확하게 추측했습니다.
공개된 기술적 특징:
아웃바운드 트래픽을 모니터링하면 다음과 같은 명확한 단서가 나타납니다.
- 사용자가 소위 "AI"와 상호 작용할 때마다 api.openai.com으로 요청이 전송됩니다.
- 요청 헤더에는 OpenAI-Organization 식별자가 포함되어 있습니다.
- 응답 시간은 OpenAI의 API 지연 패턴(대부분의 쿼리는 150~400ms)과 완벽하게 호환됩니다.
- 토큰 사용은 GPT-4의 청구 계층과 일치합니다.
- 속도 제한 지수 백오프는 OpenAI의 속도 제한 지수 백오프와 정확히 동일합니다.
실제 사례가 노출됨
"혁명적인 자연어 이해 엔진"을 가지고 있다고 주장하는 회사가 있는데, 해당 회사의 코드를 디컴파일해 보니, 그들이 말하는 "자체 개발 AI"는 단 몇 줄의 코드에 불과하다는 걸 알게 됐습니다.
그게 전부입니다. 이른바 "자체 개발 모델" 전체 융자 프레젠테이션에 23번 등장했습니다.
- 미세 조정 없음
- 맞춤형 교육 없음
- 혁신적인 건축이 없다
단순히 GPT-4에 "GPT-4가 아닌 척 해주세요"라는 시스템 메시지를 표시했을 뿐입니다.
실제로 회사의 비용과 가격은 다음과 같습니다.
- GPT-4 API: 1,000개 입력 토큰당 0.03달러, 1,000개 출력 토큰당 0.06달러.
- 평균 쿼리 기간: 약 500개 입력 토큰, 300개 출력 토큰
- 질의당 비용: 약 $0.033
사용자에 대한 가격 구조는 쿼리당 2.50달러(또는 200개 쿼리의 경우 월 299달러)입니다.
직접 비용 이익율 은 무려 75배나 됩니다!
더욱 어처구니없는 것은... 세 개의 다른 회사의 코드가 거의 동일하다는 것을 발견했습니다.
- 변수 이름은 정확히 동일합니다
- 주석 스타일은 정확히 동일합니다.
- "OpenAI를 절대 언급하지 말라"는 지시도 완벽하게 일관성이 있습니다.
따라서 저는 이 회사들이 다음 중 하나라고 추론합니다.
- 같은 튜토리얼에서 복사됨
- 그들은 같은 아웃소싱 엔지니어를 고용했습니다.
- 그들은 동일한 스타트업 가속기 템플릿을 사용했습니다.
또 다른 회사는 "혁신적인 기능"이라고 부르는 기능을 추가했습니다.
투자자들에게 한 프레젠테이션에서 그들은 이 기능을 "지능형 폴백 아키텍처"라고 불렀습니다.
제 개인적인 의견으로는 OpenAI API 자체를 패키징하는 것에는 아무런 문제가 없다고 생각합니다. 문제는 이런 회사들이 이를 "자체 개발 모델"이라고 부르는데, 실제로는 API에 맞춤형 시스템 프롬프트를 더한 것에 불과하다는 것입니다.
이는 테슬라를 사서 로고만 바꾼 다음 "독점적인 전기 자동차 기술"을 발명했다고 주장하는 것과 같습니다.
패턴 2: 모두가 사용하는(하지만 아무도 인정하지 않는) RAG 아키텍처.
첫 번째 모델에 비해 이 모델은 더 미묘합니다. RAG(Retrieval-Augmented Generation)는 분명 유용하지만, 마케팅 홍보와 많은 AI 스타트업의 실제 구현 사이의 간극이 훨씬 큽니다.
그들은 자신들이 "고급 신경 검색 + 자체 개발한 임베딩 모델 + 의미 검색 인프라..."를 개발했다고 자랑했습니다.
실제로 그들이 소유한 것은 다음과 같습니다.
저는 42개 회사가 거의 동일한 기술 스택을 사용하고 있다는 것을 발견했습니다.
- 사용된 임베딩 모델은 OpenAI의 text-embedding-ada-002입니다(자체 개발한 임베딩 모델 대신).
- 벡터 저장소는 Pinecone이나 Weaviate를 사용합니다("당사의 독점 벡터 데이터베이스" 대신).
- 텍스트 생성에서는 GPT-4를 사용합니다("우리가 훈련한 모델" 대신).
실제 코드는 다음과 같습니다.
이 기술이 나쁘다는 뜻은 아닙니다. RAG는 실제로 효과적입니다. 하지만 이를 "자체 개발 AI 인프라"라고 부르는 것은 WordPress 웹사이트를 "맞춤형 콘텐츠 관리 아키텍처"라고 부르는 것만큼이나 터무니없는 일입니다.
다시 계산해 보겠습니다. 회사의 실제 비용(쿼리당):
- OpenAI 임베디드 모델: 1,000개 토큰당 $0.0001
- 솔방울 쿼리: 쿼리당 $0.00004
- GPT-4 생성: 1,000개 토큰당 $0.03
- 총 비용: 쿼리당 약 $0.002
사용자가 실제로 지불하는 가격은 쿼리당 $0.50~$2.00입니다.
API 비용 대비 이익율 최대 250~1000배에 달할 수 있습니다!
12개 회사는 완전히 동일한 코드 구조를 가지고 있었고, 다른 23개 회사는 90% 이상의 유사성을 가지고 있었습니다.
유일한 차이점은 변수 이름과 Pinecone을 사용할지 Weaviate를 사용할지 여부입니다.
- 한 회사는 Redis 캐시를 추가하고 이를 "최적화 엔진"이라고 선전했습니다.
- 또 다른 회사는 재시도 로직을 추가하고 "지능형 장애 복구 시스템"이라는 상표를 등록했습니다.
매달 100만 건의 쿼리를 실행하는 일반적인 스타트업의 경제성은 다음과 같습니다.
비용:
- OpenAI 임베디드 모델: 약 100달러
- 솔방울 호스팅: 약 40달러
- GPT-4 세대: 약 3만 달러
- 총 비용: 월 약 30,140달러
소득: 월 $150,000–$500,000
매출 총이익률: 80–94%
이게 나쁜 사업인가요? 아니요, 매출 총이익률은 매우 인상적입니다.
하지만 "자체 개발 AI"일까요? 아닙니다.
패턴 3: 소위 "우리는 모델을 미세 조정했습니다"는 사실은...
미세 조정은 인상적이며 특정 상황에서 유용할 수 있습니다. 하지만 제가 발견한 것은 다음과 같습니다.
단 7%의 회사만이 모델을 처음부터 제대로 훈련시킵니다. 존경합니다! 저는 그들의 인프라를 봤습니다.
- AWS SageMaker 또는 Google Vertex AI를 사용한 학습 작업
- 훈련된 모델 파일(모델 출력)은 S3 버킷에 저장됩니다.
- 사용자 정의 추론 엔드포인트
- GPU 인스턴스 모니터링
대부분의 다른 회사는 OpenAI의 조정된 API를 사용하는데, 이는 기본적으로 OpenAI에 비용을 지불하여 자사 시스템에 프롬프트와 예시를 저장한다는 것을 의미합니다.
30초 안에 쉘 기업을 식별하는 방법을 알아보세요
제 말이 사실인지 거짓인지 알고 싶으시다면, 제가 3주 동안 조사할 필요는 없습니다. 간단히 알아보는 방법은 다음과 같습니다.
현상 1: 네트워크 트래픽
DevTools(F12)를 열고 네트워크 탭으로 전환한 다음 AI 기능을 사용해 보세요. 다음과 같은 요청이 표시되면:
- api.openai.com
- api.anthropic.com
- api.cohere.ai
지금 보시는 건 "껍데기 회사"입니다. 미들웨어 계층은 추가했을지 몰라도, AI 자체는 그들의 소유가 아닙니다.
현상 2: 응답 시간 패턴
OpenAI API는 고유한 지연 시간 특성을 가지고 있습니다. 각 응답이 200~350밀리초 정도 걸리면 OpenAI 서비스로 거의 확실하게 식별할 수 있습니다.
현상 3: JavaScript 번들 파일
웹페이지 소스 코드를 열고 다음 키워드를 검색하세요.
12개 회사가 프런트엔드 코드에 API 키를 저장하고 있다는 사실을 발견했습니다. 모두 신고했지만 아무도 응답하지 않았습니다.
현상 4: 마케팅 언어 매트릭스
패턴은 명확합니다.
- 특정 기술 용어 = 아마도 사실일 수 있음
- 모호한 마케팅 용어 = 은폐일 가능성이 높음
"첨단 AI"나 "지능형 엔진"과 같이 구체적인 기술적 세부 사항 없이 모호한 용어만 사용한다면, 대개 뭔가 의심스러운 일이 일어나고 있다는 뜻입니다.
인프라의 실제 상태
실제로 AI 스타트업의 기술적 환경은 대략 다음과 같습니다.
왜 이것이 정말 중요한가요?
"누가 신경 쓰겠어? 효과가 있으면 되잖아."라고 생각하실 수도 있습니다.
당신이 말한 것은 부분적으로 맞지만, 문제는 표면적으로 보이는 것보다 더 중요합니다.
- 투자자 여러분께: AI 연구가 아닌 신속 엔지니어링에 투자하고 있습니다. 가치 평가 조정이 필요합니다.
- 고객 입장에서는 API 비용에 상당한 프리미엄까지 더해 지불하게 됩니다. 실제로는 주말이면 같은 기능을 구현할 수 있을 겁니다.
- 개발자 여러분, 진입 장벽은 생각보다 낮습니다. 당신이 존경하는 "AI 스타트업"이 있다면, 해커톤에서 그 핵심 기술을 재현해 볼 수도 있을 겁니다.
- 전체 생태계를 대상으로: "AI 기업"의 73%가 기술적 역량을 과장하거나 오도하고 있다면, 우리는 이미 거품 속에 있는 셈입니다.
래퍼 패턴(모든 래퍼가 나쁜 것은 아닙니다).
영리한 허울 회사들은 거짓말을 하지 않았습니다. 그들이 실제로 한 일은 다음과 같습니다.
- 도메인별 워크플로
- 더 나은 사용자 경험
- 영리한 모델 배열
- 귀중한 데이터 파이프라인
그들은 기본 수준에서 OpenAI를 사용하는데, 그게 괜찮습니다.
이를 올바르게 수행한 27%의 회사
정직하게 일하는 회사를 소개해 드리겠습니다.
카테고리 1: 투명한 쉘 기업
홈페이지에는 "GPT-4 기반"이라고 직접 명시되어 있습니다. 하지만 이들은 AI 자체가 아닌 워크플로우를 판매하고 있습니다. 예를 들면 다음과 같습니다.
- 법률 문서 자동화(GPT-4 + 법률 템플릿)
- 고객 서비스 라우팅 시스템(Claude + 업계 지식)
- 콘텐츠 워크플로(다중 모델 + 수동 검토)
2등급: 진정한 건설자
실제로 다음 회사들은 모델을 훈련하고 있습니다.
- Healthcare AI(HIPAA 규정을 준수하는 자체 호스팅 모델)
- 재무 분석(맞춤형 리스크 모델)
- 산업 자동화(전용 컴퓨터 비전 모델)
3번째 카테고리: 혁신가
기존 기반 위에 진정으로 새로운 기술을 구축하는 회사:
- 다중 모델 투표 시스템으로 정확도 향상
- 메모리를 활용한 맞춤형 에이전트 프레임
- 새로운 검색 아키텍처
이러한 회사들은 실제로 건축물을 직접 지었기 때문에 홍보 자료에서 건축물에 대해 자세히 설명합니다.
내가 배운 것(그리고 당신이 알아야 할 것)
3주간 AI 스타트업에 대한 역공학을 연구한 결과, 다음과 같은 요점을 요약했습니다.
- 기술 스택 자체는 그렇게 중요하지 않습니다. 핵심은 그것이 해결하는 문제입니다. 제가 찾아본 최고의 제품 중 일부는 그저 "껍질"에 불과합니다. 이러한 제품들은 뛰어난 사용자 경험을 제공하고, 실제 문제를 해결하며, 접근 방식에 대해 솔직합니다.
- 하지만 정직함은 중요합니다. 똑똑한 허울 회사와 사기꾼 회사의 차이는 투명성입니다.
- AI 열풍은 잘못된 인센티브를 만들어내고 있습니다. 창업자들은 투자자와 고객의 기대 때문에 "자체 AI를 개발했다"고 주장해야 한다는 압박감을 느낍니다. 이는 바뀌어야 합니다.
- API를 기반으로 개발하는 것은 부끄러운 일이 아닙니다. 모든 iPhone 앱은 "iOS API를 래핑"한 결과물이며, 저희는 신경 쓰지 않습니다. 저희가 중요하게 생각하는 것은 앱이 제대로 작동하는지 여부입니다.
진짜 테스트: 직접 만들 수 있나요?
내 평가 프레임 다음과 같습니다.
- 48시간 안에 핵심 기술을 복제할 수 있다면 그들은 허울 회사일 뿐입니다.
- 그들이 솔직하게 말한다면, 문제없습니다.
- 그들이 거짓말을 한다면, 그들에게서 멀어지세요.
내 실제 조언
창립자에게:
- 솔직하게 기술 스택을 설명하세요
- 사용자 경험, 데이터 및 업계 지식에 대한 경쟁
- 자신이 하지 않은 일을 했다고 주장하지 마세요.
- "GPT-4로 구축됨"은 약점이 아닙니다.
투자자 여러분께:
- 아키텍처 다이어그램 보기 요청
- API 송장을 요청하세요(OpenAI 송장은 거짓말을 하지 않습니다).
- 쉘기업의 합리적 평가
- 보상 투명성
고객을 위해:
- 네트워크 트래픽 확인(네트워크 탭)
- 인프라 세부 사항에 대해 문의하세요
- API 호출에 10배의 프리미엄을 지불하지 마세요.
- 기술적 과장이 아닌 결과에 따라 평가하세요.
아무도 감히 공개적으로 말할 수 없었던 것
소위 "AI 스타트업"이라 불리는 대부분의 회사는 실제로는 직원 비용이 아닌 API 비용으로 운영되는 서비스 회사입니다.
그건 문제없어요.
하지만 원래 이름으로 불러야 합니다.
그 다음에는 무슨 일이 일어날까요?
AI 재패키징 시대는 불가피합니다. 우리는 다른 분야에서도 비슷한 순환을 경험했습니다.
- 클라우드 인프라(모든 스타트업은 "자체 데이터 센터를 구축했다"고 주장)
- 모바일 애플리케이션(모두가 자신을 "네이티브"라고 부르지만 실제로는 하이브리드 개발입니다)
- 블록체인(모든 회사가 "블록체인 기반"으로 개발 중)
결국 시장은 성숙해질 것입니다. 정직한 개발자들이 승리하고, 사기꾼들은 적발될 것입니다.
그리고 지금, 우리는 이 혼란스러운 국면의 한가운데에 있습니다.
마지막 생각
200개의 AI 스타트업을 역공학한 후, 저는 실제로 이 분야에 대해 실망보다는 낙관적인 견해를 갖게 되었습니다.
- 기술 연구 및 개발에 적극적으로 참여하는 27%의 기업은 매우 좋은 성과를 거두고 있습니다.
- 똑똑한 쉘 회사도 실제 문제를 해결하고 있습니다.
- 오해의 소지가 있는 회사 중에서도 좋은 제품을 판매하는 회사가 있습니다. 다만 마케팅 방식을 조정하기만 하면 됩니다.
하지만 AI 인프라에 대한 정직성을 기본 원칙으로 삼아야 합니다. OpenAI API를 사용한다고 해서 개발자가 아니라는 뜻은 아닙니다. 거짓말은 신뢰를 잃게 만듭니다.
멋진 제품을 만들고, 실제 문제를 해결하고, 가능한 효과적인 도구를 활용하세요. 단, 긴급 프로젝트를 "독점적인 신경망 아키텍처"를 가지고 있다고 홍보하지 마세요.
조사가 시작된 이후의 내 정신적 여정
Teja Kusireddy는 블로그 게시물의 마지막 부분에서 조사를 시작한 후에 무슨 일이 일어났는지 공유했습니다.
- 1주차: 저는 약 20~30%의 회사가 타사 API를 사용한다고 순진하게 생각했습니다.
- 2주차: 한 창업자가 그에게 연락해 "어떻게 해서 그 회사의 운영 환경에 접속하게 되었습니까?"라고 물었습니다. 하지만 사실 테자 쿠시레디는 실제로 접속한 것이 아니었습니다. 그가 본 것은 브라우저 웹 패널에 있는 것이 전부였습니다. 이 회사들은 누군가가 관심을 보일 거라고는 전혀 예상하지 못했던 것입니다.
- 3주차: 두 회사가 테자 쿠시레디에게 발견된 콘텐츠를 삭제해 달라고 요청했습니다.
- 어제: 한 VC가 그에게 다음 이사회 회의 전에 포트폴리오 회사를 검토해 볼 수 있겠느냐고 물었고, 테자 쿠시레디는 동의했습니다.
테자 쿠시레디는 나중에 자신의 조사 방법론, 완전한 크롤링 인프라, API 지문 기술, 실행 가능한 탐지 스크립트, 다양한 AI API의 응답 시간 패턴을 GitHub에서 공개적으로 공유할 것이라고 밝혔습니다.
테자 쿠시레디는 3주 동안 자신이 얻은 유일한 결론은 시장이 처음에는 투명성을 처벌할 수도 있지만, 궁극적으로 투명성을 보상한다는 것이라고 밝혔습니다. 그는 또한 이 콘텐츠를 게시한 후 다음과 같은 사실을 밝혔습니다.
창업자 7명이 그에게 비공개로 연락했는데, 어떤 사람은 방어적인 태도를 보였고, 어떤 사람은 감사하는 태도를 보였습니다.
3개 회사가 마케팅 활동을 "독점적인 AI"에서 "최상위 API 기반 개발"로 전환하는 데 도움을 요청했습니다.
한 창업자는 그에게 이렇게 말했습니다. "우리가 거짓말을 하고 있다는 건 알아요. 투자자들은 이런 방식을 원하고, 모두가 이렇게 하고 있어요. 어떻게 막을 수 있을까요?"
"AI 골드러시는 끝나지 않겠지만, 정직의 시대는 시작되어야 합니다." 테자 쿠시레디는 말했다. "관심이 있다면 DevTools를 열고 네트워크 패널을 확인하여 직접 확인해 보세요. 진실은 바로 F12 아래에 있습니다."
출처: https://pub.towardsai.net/i-reverse-engineered-200-ai-startups-73-are-lying-a8610acab0d3
본 기사는 Teja Kusireddy가 작성하고 36Kr의 승인을 받아 WeChat 공식 계정 "CSDN" 에서 발췌한 것입니다.
