텍스트 | 쉬무신
편집자 | 류징
몇 달 전, OpenAI 내부 사진이 인터넷에 돌았습니다. 그림에서 OpenAI는 AGI로의 전환을 5단계로 나눕니다.
레벨 1: 채팅 로봇, 대화 기능을 갖춘 AI.
레벨 2: 추론자(Resoner), 인간처럼 문제를 해결할 수 있는 AI.
레벨 3: 에이전트(Agent), 생각할 뿐만 아니라 행동도 할 수 있는 AI 시스템.
레벨 4: 혁신가, 발명과 창조를 지원할 수 있는 AI.
레벨 5: 조직 업무를 완료할 수 있는 AI인 Organizer입니다.
로드맵은 아름답지만 지금은 대부분 L1에 갇혀 있습니다. 가장 분명한 예는 추론 능력이 부족하여 대형 모델이 "9.8 또는 9.11 중 누가 더 큰가?"라는 질문에도 답할 수 없다는 것입니다. Transformer 아키텍처는 방대한 양의 데이터를 검색해야만 답변의 적합도가 높을 뿐, 인간처럼 질문에 답변하거나 추론을 수행할 수 없기 때문입니다. 다단계 추론을 수행할 수 없기 때문에 AI 에이전트는 한 번의 클릭으로 계획을 생성할 수 없으며 많은 AI 응용 시나리오는 아직 멀었습니다.
한때 AI 업계의 혁명가로 평가받던 트랜스포머도 혁명의 순간을 피할 수는 없다. 그리고 크라운은 혁명가 중 한 명입니다. Wang Guan은 LLM의 잠재력을 끌어내기 위해 RL 솔루션을 사용하는 대신 일반적인 대규모 RL 모델을 직접 생성하기로 선택하여 LLM의 이론적 한계를 건너뛰었습니다. 이는 또한 빠른 사고와 느린 사고의 실제 작동 메커니즘과 더 일치합니다. .
2000년생 칭화대 졸업생은 약속된 장소에서 잠시 기다리다가 막 학교를 나왔는데, 마른 체형에 심플한 운동복을 입고 배낭을 메고 있는 모습은 마치 학교 어디에서나 볼 수 있는 과학 고수 같은 모습이다.
"빅뱅 이론"의 천재 괴짜들처럼, 왕관은 겸손하게 전문적인 단어를 사용하고, 머리를 쥐어짜며 단순히 설명하려고 노력하기 때문에 기술이 없는 사람들이 왕관과 의사소통하는 것이 특히 어렵습니다. . 어떤 기술적인 질문에 대해서는 곧바로 대답하지 못할 때도 있었고, 한동안 침묵이 필요했고, 어색한 침묵 끝에 정확한 언어라고 생각되는 것을 정리할 수 있었다. 자신의 전문지식을 이야기할 때면 신나게 이야기를 하기도 하고, 때로는 숨 쉬는 것조차 잊어버리기도 하고, 갑자기 숨이 막힐 것 같은 순간에는 고개를 들고 긴 숨을 쉬어야 할 때도 있다.
하지만 그가 Sapient Intelligence를 개발한 새로운 아키텍처에 이름을 붙인 사람은 바로 그런 사람이었습니다. "호모 사피엔스"로 번역된 이 이름은 그의 야망을 보여줍니다.
현재 NLP의 세계는 여전히 Transformer가 지배하고 있지만 점점 더 많은 새로운 아키텍처가 등장하여 L2를 향해 돌진하고 있습니다. 예를 들어 올해 딥마인드가 이론적으로 제안한 TransNAR 하이브리드 아키텍처, 트랜스포머 8인 중 한 명인 Llion Jones가 새롭게 설립한 Sakana.AI, 블룸버그의 RWKV, 심지어 OpenAI도 '스트로베리(Strawberry)'라는 새로운 모델을 출시했다. 추론 능력이 있습니다.
Transformer의 한계는 점차 입증되었으며, 환상이나 정확성과 같은 문제에 대한 해결책은 없었습니다. 이러한 새로운 아키텍처에 잠정적으로 자금이 쏟아지기 시작했습니다.
Sapient 공동 창립자 Austin은 "Undercurrent Waves"에 다음과 같이 말했습니다. Sapient는 현재 수천만 달러의 시드 라운드 융자 완료했습니다. 이번 융자 라운드는 싱가포르의 Temasek Holdings가 지원하는 일본 최대 벤처 캐피털 그룹이자 유럽 및 유럽의 수장인 Vertex Ventures가 주도했습니다. 이번 융자 주로 해시레이트 지출과 글로벌 인재 채용에 사용될 예정입니다.
Sapient에서는 중국 AI 스타트업의 전형적인 경로를 볼 수 있습니다. 중국 창업자와 Day One은 글로벌 시장을 목표로 하고, 글로벌 알고리즘 인재를 모집하고, 국제 자금의 지원도 찾습니다. 그러나 비정형적인 측면도 뛰어납니다. 많은 응용 프로그램 회사에 비해 기술적으로 다른 회사와 경쟁하려는 플레이어입니다.
크라운(왼쪽)과 오스틴(오른쪽)
"WAVES"는 Undercurrent의 칼럼입니다. 여기에서 우리는 새로운 세대의 기업가와 투자자들의 이야기와 정신을 여러분에게 소개할 것입니다.
GPT는 AGI로 이어질 수 없나요?
기술의 반복은 잔인할 정도로 빠릅니다.
빅 언어 모델 열풍이 시작된 지 얼마 지나지 않아 튜링상 수상자이자 'AI 대부'인 얀 르쿤(Yann LeCun)은 AI 산업에 진출하려는 젊은 학생들에게 "LLLM을 배우지 말고 돌파 방법을 공부해야 한다. LLM의 한계"라고 공개적으로 경고했다. .”
그 이유는 인간의 추론 능력을 두 가지 시스템으로 나눌 수 있기 때문이다. 시스템 1은 빠르고 무의식적이어서 오늘 무엇을 먹을까 같은 간단한 작업을 처리하는 데 적합하기 때문이다. 시스템 2는 복잡한 수학 문제를 푸는 등 생각을 통해 완성할 수 있는 작업이다. LLM은 시스템 2의 작업을 완료할 수 없으며 확장 법칙은 기본 아키텍처의 제한 사항이므로 이 문제를 해결할 수 없습니다.
"현재의 대형 모델은 질문을 암기하는 것과 비슷합니다." Wang Guan은 "Undercurrent Waves"에서 다음과 같이 설명했습니다. "한 가지 관점 는 현재의 대형 모델이 시스템 2 문제를 처리하기 위해 시스템 1을 사용하고 사람과 마찬가지로 시스템 1.5에 갇혀 있다는 것입니다. Autoregressive 모델은 토큰을 출력한 후 이 토큰을 기반으로만 출력하도록 제한합니다.
이 대형 모델의 한계는 보다 철학적인 관점에서도 이해할 수 있습니다. 즉, "9.9 또는 9.11 중 누가 더 큰가?"라는 질문을 계산할 때 대형 모델이 자신이 수행하는 작업을 실제로 이해하고 있습니까? 아니면 소수점 이하 9와 11을 기계적으로 비교하는 것인가요? 모델이 자신이 무엇을 하고 있는지 모른다면 아무리 많은 훈련을 해도 헛되지 않습니다.
따라서 AI가 L2 단계에 진입하려면 자동 회귀 트랜스포머 아키텍처를 완전히 버릴 수 밖에 없습니다. Wang Guan의 관점에서 Sapient가 해야 할 일은 인간의 두뇌를 모방하여 AI의 추론 능력을 달성하는 것입니다.
Yann LeCun의 세계 모델 이론
"칭화뇌지능연구소에서는 신경과학 지식과 시스템 2에 대한 이해를 바탕으로 양자적 발전을 이루겠습니다. 예를 들어 같은 문제에 대해 먼저 인간의 뇌가 문제를 해결하는 방법을 알고 그 다음 어떻게 해결해야 할지 고민합니다. 그것을 해결하려면 AI를 사용하세요." Wang Guan은 "Undercurrent Waves"에 말했습니다.
그는 계속해서 Sapient의 인프라가 이제 수학적 검증을 완료했다고 밝혔습니다. 이는 다단계 계산, 메모리 및 트리 검색 기능을 갖춘 보기 드문 비자동회귀 모델이 될 것입니다. 스케일업 측면에서도 진화 알고리즘과 강화학습을 결합해 사전 시도를 했다.
동물 두뇌의 계층적 루프 작동 논리
AGI에 대한 사람들의 기대에 따르면 아마도 현재는 인간만이 AGI 표준을 충족할 수 있을 것입니다. 따라서 인간의 두뇌 방향으로 대형 모델을 반복하는 것이 Sapient가 진화하려는 방향입니다.
머스크를 거부하는 사람들
"Young Sheldon"을 시청하셨다면 The Crown의 이야기가 친숙하게 느껴질 것입니다. 이 이야기는 천재가 10대에 등장하는 이야기이기도 하고 그가 믿는 길에 똑같이 집착합니다.
왕관(Wang Guan)은 2000년 허난(Henan)에서 태어나 8세부터 프로그래밍을 배우기 시작했습니다. 제가 고등학생이었을 때 GPT2가 출시되었는데, 이는 당시 딥러닝에 관한 많은 이론을 뒤엎었을 뿐만 아니라 Wang Guan의 세계관도 뒤바꾸었습니다. 모델이 생성한 텍스트가 인간과 유사할 수 있다면 그것은 과연 AI는 튜링 테스트를 돌파할 것인가? 이를 바탕으로 세상의 모든 문제를 해결하는 알고리즘을 만들 수 있을지도 모른다.
나중에 그는 그러한 알고리즘이 "AGI"라고 불린다는 것을 알게 되었습니다.
당시 고등학생들의 세계에서는 그러한 알고리즘이 전쟁과 기아, 빈곤을 없앨 수 있었다. 물론 가장 시급한 것은 대학 입시를 없애는 일이었다.” 입시는 로봇에게 맡겨야 한다”고 말했다.
이는 허난대학 입학시험의 지옥 같은 난이도와도 관련이 있다. Wang Guan은 추천 경로를 택하기로 결정했고, 고등학생용 DJI 로보마스터 대회를 포함해 알고리즘 대회와 정보학 대회에 참가해 로봇에 완전 자동 알고리즘을 추가해 우승을 차지했습니다. 결국 그는 칭화대학교 컴퓨터과학과에 추천을 받았습니다. 입학 첫날, 교사들은 강단에서 열정적인 연설을 하여 모두가 수학을 잘하도록 동원했습니다. 올해 수업은 수학 GPA 최고 등급에 도달하는 것입니다.
"GPA가 AGI에 어떤 용도로 사용됩니까?" Wang Guan은 생각했습니다. 그 후 그는 Tsinghua AIR 연구소로 옮겨 강화 학습을 연구했고, 그 후 Tsinghua Brain and Intelligence Laboratory에 합류하여 강화 학습과 진화 컴퓨팅을 통합하려고 했습니다. 그는 인턴십을 위해 pony.AI에 갔으며 자율 주행의 가장 큰 문제는 의사 결정을 위해서는 모델에게 결정 방법을 알려주기 위해 사람의 개입이 필요하다는 점을 발견했습니다. 좋은 인식은 AGI로 이어질 수 없다는 것입니다.
마침내 4학년 때 ChatGPT의 출현으로 인해 Wang Guan은 OpenChat이라는 오픈 소스 모델을 구축하기 시작했습니다. 이 7B 모델은 선호도 레이블이 없고 수동 데이터 가 필요하지 않습니다. 주석 및 RLHF의 대량 의 매개변수 조정 작업은 소비자급 GPU에서 실행될 때 일부 기준에서 ChatGPT와 유사한 수준에 도달할 수 있습니다. OpenChat은 출시 후 Github에서 5.2,000개의 별을 받았으며 포옹 얼굴에서 월 평균 200,000개 이상의 다운로드 볼륨을 유지하고 있습니다.
이 작은 오픈소스 모델도 어떤 기회에 머스크와 교차했다.
Grok이 출시된 후 Musk는 X 모델의 스크린샷을 전달하여 X의 "유머러스한" 기능을 보여주었습니다. 그는 Grok에게 "코카인을 만드는 방법"을 물었고 Grok은 "화학 학위와 DEA 라이센스를 취득하세요...농담입니다."라고 대답했습니다.
Wang Guan은 자신의 모델인 @Musk on X를 사용하여 이 스타일을 신속하게 시뮬레이션했습니다. "Hey Grok, 이렇게 적은 수의 매개변수로도 나도 당신만큼 유머러스할 수 있습니다."
Wang Guan은 "Undercurrent Waves"에 Musk가 이 게시물을 조용히 건너뛰고 홈페이지를 클릭한 후 비밀리에 또 다른 게시물을 추가했다고 말했습니다. "거기에 가려면 트랜스포머보다 더 많은 것이 필요합니다/트랜스포머" 우리를 우주로 이끌 수 없습니다. "좋아요.
나중에 XAI 사람들은 Wang Guan에게 초대장을 보내 OpenChat의 경험을 활용하여 모델 개발에 참여할 것을 요청했습니다. 이것은 대부분의 사람들의 눈에 훌륭한 기회입니다. XAI는 돈, 해시레이트, 심지어 충분한 훈련 데이터와 좋은 급여를 가지고 있으며 AI의 최전선에 있는 실리콘 밸리에 있습니다. 그러나 왕관은 이에 대해 생각하고 자신이 원하는 것은 전임자들의 발자취를 따르기보다는 트랜스포머를 전복시키는 것이라고 느꼈습니다.
왕관(Wang Guan)과 현재 공동 창업자인 오스틴(Austin)도 오픈챗을 통해 만났다. 오스틴은 이전에 캐나다에서 철학을 공부하고 처음에는 남성미용 사업을 시작했다가 다시 클라우드 게이밍 사업을 시작했습니다. 중국에서 대규모 AI 모델이 붐이 일 때 중국으로 돌아와 여러 모델 공장에서 제의를 받아 인력 모집을 도왔다. 그래서 깃허브에서 왕관을 발견했고, 두 사람은 네티즌으로 만나 곧바로 친분을 쌓았다.
이력과 배경은 많이 다르지만 두 사람의 공통점은 AGI가 구현된 미래 사회를 구상한다는 점이다. 인간이 더 자유로워지고 현재 문제가 많은 유토피아라는 점이다. 세상의 열쇠는 해결될 수 있습니다.
사피엔트의 미래
창업을 베이스 모델로 선택한 칭화대 졸업생으로서 우리는 필연적으로 양지린에 대해 이야기를 나눴다. 왕관의 생각은 여전히 일관적이다. 계속해서 트랜스포머로 있기보다는 새로운 길을 여는 것이 낫다는 것이다. 그의 기업가 우상인 Llion Jones와 같습니다.
Llion Jones는 Transformer의 8명의 저자 중 한 명이며 Sakana.Ai의 공동 창립자입니다. 그가 Sakana에서 한 일은 Transformer의 기술 경로를 완전히 전복시키고 그의 기본 모델을 "자연적으로 영감을 받은 지능"에 기반을 두는 것이었습니다.
Sakana라는 이름은 "물고기"를 의미하는 일본어 단어 あなな에서 유래되었으며, "간단한 규칙에 따라 일관된 개체를 형성하기 위해 물고기 그룹을 모으는 것"을 의미합니다. Sakana는 현재 완제품이 없지만 불과 6개월 만에 3천만 달러의 시드 라운드 융자 과 1억 달러의 시리즈 A 융자 완료했습니다.
AI 물결 이후 AI 적용에 대한 자본의 열정이 둔화되었음을 알 수 있다. AI 모델에 대한 투자 측면에서 오스틴은 'Undercurrent Waves' 에서 그가 본 국내 투자자는 두 가지 유형이라고 말했다. "Six Little Tigers"는 시청을 중단했고 다른 종류는 점차 Transformer 너머의 가능성을 탐색하기 시작했습니다.
'초보'로서는 창업 자금을 확보하기가 쉽지 않습니다. 투자자 대면 Sapient는 기술 경로와 비즈니스 비전의 장점을 설명하기 전에 먼저 세 가지 문제를 설명해야 합니다. 첫 번째는 불안정한 단순 추론, 복잡한 문제 해결 능력 부족, 환각 등 GPT의 단점입니다. 두 번째는 현재 AI 적용 시나리오가 매우 좋지만 기술이 요구 사항에 적응할 수 없다는 것입니다. 예를 들어 Devin의 13% 정확도로 인해 원하는 효과를 얻을 수 없습니다. 세 번째는 현재 시점으로, 시장은 AI의 미래에 대한 기대를 가지고 있고, 해시레이트 클러스터 등 인프라가 완성되어 있으며, 자금은 GPT가 해결할 수 없는 다운스트림 문제에만 갇혀 있어 진행을 주저하고 있습니다.
초기 스타트업 자금 조달에도 불구하고 Sapient는 여전히 인재 채용 문제에 직면해 있습니다. 실리콘 밸리 기술계의 AI 인재 경쟁은 거의 미친 상태에 이르렀습니다. 과거에 Zuckerberg는 DeepMind 연구원들에게 개인적으로 편지를 써서 직업을 바꾸고 Meta에 합류하도록 권유했습니다. 나중에 Google 공동 창립자인 Sergey Brin은 곧 떠날 직원을 유지하기 위해 급여 인상 및 혜택에 대해 개인적으로 전화했습니다. OpenAI로 전환한 사람. 넘치는 성실함과 더불어 충분한 해시레이트 지원, 높은 연봉에 대한 유혹도 필수 조건이다.
데이터에 따르면 OpenAI의 중간 총 보상(주식 포함)은 925,000달러에 이르렀습니다. Austin은 "Undercurrent Waves"에 Sapient의 핵심 구성원이 Deepmind, Google, Microsoft 및 Anthropic의 많은 연구원으로 구성되어 있다고 말했습니다. 이러한 전 세계의 인재들은 AlphaGo, Gemini, Microsoft Copilot 등을 포함하여 많은 유명 모델과 제품을 주도하거나 참여해 왔습니다. 다양하고 글로벌한 팀을 구성하는 능력도 Sapient의 핵심 강점 중 하나입니다.
그러나 GPT에 도전하려는 팀에게는 Sapient가 여전히 상용 시장을 선택해야 하는 어려움이 훨씬 더 큽니다. Sapient는 해외 시장, 특히 미국과 일본에 주력하고 있습니다. 미국을 선택한 이유에 대해 자세히 설명할 필요는 없지만 일본 시장도 핵심 장점을 갖고 있다. 예를 들어 북미 AI 시장이 활발하지만 특히 생성 AI 소프트웨어 시장의 경쟁이 치열하다. 이에 비해 일본은 완벽한 인프라와 고품질 인재를 보유하고 있으며, 비서구 문화에 대한 모델 훈련 데이터는 다음 기술 혁신의 촉매제가 될 수 있습니다.
Wang Guan은 여전히 Sapient 개발에 집중하고 있습니다. 그의 아바타는 교과서 그림처럼 흐릿한 딥 러닝 프레임 입니다. 그의 표지에는 "Q-star"라고 적혀 있습니다. " : AI에 대한 논리적, 수학적 추론 개발에 초점을 맞춘 소문난 OpenAI 프로젝트입니다.
Wang Guan과 그의 팀은 다음 이정표를 향해 열심히 노력하고 있습니다. 이 새로운 모델 아키텍처를 출시하고 추론 및 논리 기능에 대한 공정한 벤치마크를 수행하여 사람들이 매개변수의 질적 도약을 볼 수 있도록 하는 것입니다.
아무리 오랜 시간이 흘러 오늘이 오더라도 한 가지 확실한 것은 트랜스포머가 세계를 장악하는 시대가 점차 지나가고 있다는 점이다.
