작성자: Mario Gabriele
번역: Block unicorn
인공지능의 성전
나는 내 생애를 신이 있는 것처럼 살다가 죽어서 신이 없다는 것을 알게 되는 것보다는, 신이 없는 것처럼 살다가 죽어서 신이 있다는 것을 알게 되는 것을 더 선호한다. - 블레즈 파스칼
종교는 흥미로운 주제입니다. 그것이 어떤 방향으로도 완전히 증명할 수 없기 때문일 수도 있고, 내가 가장 좋아하는 말처럼 "사실로 감정에 맞설 수 없기" 때문일 수도 있습니다.
종교적 신념의 특징은 신앙이 높아질수록 믿음이 놀라운 속도로 가속화되어 신의 존재를 의심하기 어려워진다는 것입니다. 주변 사람들이 점점 더 그것을 믿게 되면 어떻게 신성한 존재를 의심할 수 있겠습니까? 세상이 하나의 교리를 중심으로 재편되면 이단의 입지가 어디에 있겠습니까? 사원과 대성당, 법률과 규범이 새로운 흔들림 없는 복음에 따라 배열되면 반대할 여지가 어디에 있겠습니까?
아브라함 종교가 처음 등장하여 전 대륙으로 퍼져나갔을 때, 또는 불교가 인도에서 전 아시아로 퍼져나갔을 때, 신앙의 엄청난 동력은 자기 강화 순환을 만들어냈습니다. 더 많은 사람들이 귀의하고 이 신앙을 중심으로 복잡한 신학 체계와 의식을 구축하면서 이러한 기본 전제에 의문을 제기하기는 점점 더 어려워졌습니다. 신뢰의 바다 속에서 이단이 되기란 쉽지 않습니다. 웅장한 성당, 복잡한 종교 문헌, 번영하는 수도원은 모두 신성한 존재의 물리적 증거로 작용했습니다.
그러나 종교의 역사는 이러한 구조가 얼마나 쉽게 붕괴될 수 있는지를 보여줍니다. 기독교가 스칸디나비아 반도로 퍼져나가면서 고대 북유럽 신앙은 단 몇 세대 만에 붕괴되었습니다. 수천 년 동안 지속된 고대 이집트의 종교 체계도 새로운 더 지속 가능한 신앙이 부상하고 더 큰 권력 구조가 등장하면서 사라졌습니다. 같은 종교 내에서도 우리는 극적인 분열을 목격했습니다 - 종교 개혁은 서방 기독교를 갈라놓았고, 대분열은 동방 정교회와 서방 정교회를 분리시켰습니다. 이러한 분열은 종종 겉보기에는 사소한 교리적 차이에서 시작하여 완전히 다른 신앙 체계로 발전했습니다.
성전
신은 모든 지적 사고의 차원을 초월하는 은유이다. 그것이 전부다. - 조지프 캠벨
간단히 말해, 신을 믿는 것이 종교입니다. 신을 창조하는 것도 크게 다르지 않을 것입니다.
인공지능 연구자들은 태초부터 그들의 작업을 신의 창조론, 즉 신의 창조로 상상해왔습니다. 최근 몇 년 간 대규모 언어 모델(LLM)의 폭발적 발전은 신도들의 믿음을 더욱 굳건히 했습니다. 우리가 신성한 길을 걷고 있다고 믿게 되었습니다.
이는 2019년에 쓰인 한 블로그 게시물을 증명하기도 합니다. 인공지능 분야 외부 사람들에게는 최근에야 알려졌지만, 캐나다 컴퓨터 과학자 리처드 서튼의 '쓴 교훈'은 점점 더 중요한 커뮤니티 내 텍스트가 되어왔습니다. 이는 은밀한 지식에서 점차 새로운 포괄적인 종교적 기반으로 발전했습니다.
1,113단어(모든 종교에는 신성한 숫자가 필요합니다)에서 서튼은 다음과 같은 기술적 관찰을 요약했습니다: "70년 인공지능 연구에서 배울 수 있는 가장 큰 교훈은 계산의 일반적인 방법이 결국 가장 효과적이며 엄청난 이점을 가진다는 것이다." 인공지능 모델의 발전은 지수적으로 증가하는 컴퓨팅 자원과 무어의 법칙의 거대한 물결에 힘입었습니다. 동시에 서튼은 인공지능 연구의 많은 작업이 전문 기술을 통해 성능을 최적화하는 데 집중되어 있다고 지적했습니다 - 인간 지식 또는 좁은 도구를 늘리는 것. 이러한 최적화가 단기적으로 도움이 될 수 있지만, 서튼의 관점에서 볼 때 이는 결국 시간과 자원의 낭비일 뿐이며, 거대한 파도가 오는 동안 서핑보드의 지느러미를 조정하거나 새로운 왁스를 시도하는 것과 같습니다.
이것이 우리가 '쓴 종교'라고 부르는 것의 기반입니다. 그것에는 단 하나의 계명, 즉 커뮤니티에서 종종 '확장 법칙'이라고 불리는 것이 있습니다: 지수적으로 증가하는 계산이 성능을 추진한다; 나머지는 모두 어리석다.
쓴 종교는 대규모 언어 모델(LLM)에서 세계 모델로 확장되었고, 이제는 생물학, 화학, 체화된 지능(로봇공학 및 자율주행차량)과 같이 아직 변환되지 않은 성전을 통해 빠르게 퍼져나가고 있습니다.
그러나 서튼 교리가 퍼지면서 정의도 변화하기 시작했습니다. 이는 모든 활발하고 생동감 넘치는 종교의 표징입니다 - 논쟁, 확장, 주석. '확장 법칙'은 더 이상 단순히 계산 확장을 의미하지 않습니다(방주는 단순한 배가 아닙니다). 이제 변압기와 컴퓨팅 성능을 높이기 위한 다양한 기술적 방법을 의미합니다.
이제 정전에는 AI 스택의 각 부분을 최적화하려는 시도가 포함됩니다. 핵심 모델 자체에 적용되는 기술(모델 병합, 전문가 혼합(MoE), 지식 증류)부터 이 영원히 배고픈 신들에게 합성 데이터를 공급하는 것까지 다양한 실험이 이루어지고 있습니다.
교파 간 전쟁
최근 인공지능 커뮤니티에서 일어난 한 문제는 '쓴 종교'가 여전히 옳은지에 대한 성전 같은 논쟁입니다.
이번 주 하버드대, 스탠퍼드대, MIT가 발표한 '정확성의 확장 법칙'이라는 새 논문이 이 충돌을 촉발했습니다. 이 논문은 AI 모델 성능 향상을 위한 양자화 기술의 효율성 증가가 한계에 도달했음을 논의합니다. 이는 오픈소스 생태계에 큰 도움이 되는 일련의 기술입니다. 앨런 AI 연구소의 연구 과학자 Tim Dettmers는 아래 게시물에서 이 논문의 중요성을 개괄하며 "오랜만에 가장 중요한 논문"이라고 언급했습니다. 이는 지난 몇 주 동안 고조되어 온 대화의 연장선상에 있으며, 주목할 만한 추세를 드러냅니다: 두 종교의 점점 더 굳건해지는 대립.
OpenAI CEO Sam Altman과 Anthropic CEO Dario Amodei는 같은 교파에 속합니다. 두 사람 모두 자신감 있게 향후 2-3년 내에 범용 인공지능(AGI)을 달성할 것이라고 말했습니다. Altman과 Amodei는 '쓴 종교'의 신성함에 가장 의존하는 두 인물이라고 할 수 있습니다. 그들의 모든 동기 부여 수단은 과도한 약속과 최대의 선전을 만들어내어 이 규모 경제 게임에서 자본을 축적하는 데 치중되어 있습니다. 확장 법칙이 '알파와 오메가', 처음과 끝, 시작과 끝이 아니라면, 220억 달러로 무엇을 할 수 있겠습니까?
전 OpenAI 최고 과학자 Ilya Sutskever는 다른 원칙을 고수합니다. 그는 최근 유출된 정보에 따르면 OpenAI 내부의 많은 연구원들을 포함한 다른 연구원들과 함께 확장에 한계가 다가오고 있다고 믿고 있습니다. 이 그룹은 진전을 유지하고 AGI를 현실 세계로 가져오려면 새로운 과학과 연구가 필요하다고 생각합니다.
Sutskever 파는 Altman 파의 지속적인 확장 이념이 경제적으로 실현 불가능하다는 점을 합리적으로 지적합니다. 인공지능 연구원 Noam Brown이 묻듯이 "결국 수천억 달러 또는 수조 달러 규모의 모델을 훈련시켜야 할까요?" 이는 추론 계산에 수십억 달러의 추가 비용이 필요할 것이라는 점도 고려하지 않은 것입니다.
그러나 진정한 신자들은 상대방의 논거에 매우 익숙합니다. 당신 집 앞의 전도사는 당신의 쾌락주의 삼단논법을 쉽게 해결할 수 있습니다. Brown과 Sutskever의 경우, Sutskever 진영은 '테스트 시 계산'을 확장할 가능성을 지적했습니다. 지금까지와는 달리 '테스트 시 계산'은 더 큰 계산을 통해 훈련을 개선하는 것이 아니라 실행에 더 많은 자원을 사용하는 것입니다. 인공지능 모델이 당신의 질문에 답하거나 코드 또는 텍스트를 생성해야 할 때, 더 많은 시간과 계산을 제공할 수 있습니다. 이는 수학 시험 준비에서 선생님께 1시간 더 시간을 요청하고 계산기 사용을 허락받는 것과 유사합니다. 생태계의 많은 사람들에게 이는 '쓴 종교'의 새로운 전선이 되고 있습니다. 팀들이 정통적인 사전 훈련에서 사후 훈련/추론 방법으로 전환하고 있기 때문입니다.
다른 신앙 체계의 결함을 지적하고 자신의 입장을 드러내지 않고 다른 교리를 비판하는 것은 쉽습니다. 그렇다면 내 자신의 신앙은 무엇일까요? 첫째, 나는 현재의 이 모델들이 시간이 지남에 따라 매우 높은 투자 수익을 가져올 것이라고 믿습니다. 사람들이 제한을 우회하고 기존 API를 활용하는 방법을 배우면서 우리는 진정한 혁신적인 제품 경험이 등장하고 성공하는 것을 볼 것입니다. 우리는 인공지능 제품의 의인화와 증분 단계를 넘어설 것입니다. 우리는 이를 '범용 인공지능(AGI)'으로 보지 않아야 합니다. 그 정의에는 결함이 있기 때문입니다. 대신 '최소 실행 가능 지능'으로 보아야 합니다. 이는 다양한 제품과 사용 사례에 맞춤화될 수 있습니다.
슈퍼 인공지능(ASI)을 실현하려면 더 많은 구조가 필요합니다. 더 명확한 정의와 구분은 경제적 가치와 비용 간의 절충을 더 효과적으로 논의할 수 있게 해줄 것입니다. 예를 들어 AGI는 일부 사용자에게 경제적 가치를 제공할 수 있지만(단지 지역적인 신앙 체계일 뿐), ASI는 억제할 수 없는 복합 효과를 보여주며 세계, 우리의 신앙 체계, 그리고 우리의 사회 구조를 변화시킬 수 있습니다. 나는 변압기 확장만으로는 ASI를 달성할 수 없다고 생각합니다. 하지만 안타깝게도 이것은 내 무신론적 신앙일 뿐입니다.
잃어버린 신앙
인공지능 커뮤니티는 이 성전을 단기간에 해결할 수 없습니다. 이 감정적인 싸움에는 제시할 수 있는 사실적 증거가 없습니다. 대신 우리는 인공지능이 확장 법칙에 대한 신앙을 의문시하는 것이 의미하는 바에 주목해야 합니다. 신앙의 상실은 대형 언어 모델(LLMs)을 넘어 모든 산업과 시장에 연쇄 반응을 일으킬 수 있습니다.
지적해야 할 것은 인공지능/기계 학습의 대부분의 분야에서 우리는 아직 확장 법칙을 완전히 탐구하지 않았다는 것입니다. 앞으로 더 많은 기적이 있을 것입니다. 그러나 의심이 실제로 나타나면 투자자와 건설자에게는 더 어려워질 것입니다. 생명공학과 로봇공학과 같은 '곡선 초기' 범주의 궁극적인 성능 상태에 대해 동일한 높은 확신을 유지하기 어려울 것입니다. 다시 말해, 대형 언어 모델이 둔화되고 지정된 경로에서 벗어나는 것을 보게 되면 많은 창업자와 투자자의 인접 분야에 대한 신앙 체계가 붕괴될 것입니다.
이것이 공정한지는 또 다른 문제입니다.
어떤 관점에서는 '범용 인공지능'이 자연스럽게 더 큰 규모를 필요로 하므로 전문화된 모델의 '품질'은 더 작은 규모에서 나타나야 하며, 따라서 실제 가치를 제공하기 전에 병목 현상에 부딪히지 않아야 한다고 합니다. 특정 분야의 모델이 데이터의 일부만 섭취하고 따라서 실행 가능성을 달성하는 데 필요한 계산 자원의 일부만 필요하다면, 개선의 여지가 충분하지 않을까요? 이것은 직관적으로 타당해 보이지만, 우리는 반복적으로 핵심은 이것이 아니라는 것을 발견합니다. 관련되거나 보이지 않는 데이터를 포함하는 것이 보이지 않는 모델의 성능을 향상시키는 데 도움이 되는 경우가 많습니다. 예를 들어 프로그래밍 데이터를 포함하는 것이 더 광범위한 추론 능력을 향상시키는 데 도움이 되는 것 같습니다.
장기적으로 전문화된 모델에 대한 논쟁은 무의미할 수 있습니다. ASI(슈퍼 인공지능)를 구축하려는 사람의 최종 목표는 아마도 자기 복제와 자기 개선이 가능한 실체일 것이며, 모든 분야에서 무한한 창의성을 발휘할 수 있을 것입니다. Holden Karnofsky, 전 OpenAI 이사회 멤버이자 Open Philanthropy 창립자는 이러한 창조물을 '자동화된 과학 및 기술 진보 프로세스(PASTA)'라고 불렀습니다. Sam Altman의 원래 수익 계획은 유사한 원칙에 의존하는 것 같습니다. "AGI를 구축하고 그것에게 어떻게 수익을 얻을지 물어보세요." 이것은 종말론적 인공지능이며 최종적인 운명입니다.
OpenAI와 Anthropic과 같은 대규모 AI 실험실의 성공은 자본 시장에 "X 분야의 OpenAI"와 같은 실험실에 대한 열정을 불러일으켰습니다. 이러한 실험실의 장기 목표는 특정 수직 산업 또는 분야 내에서 "AGI"를 구축하는 것입니다. 이러한 규모 분해 추론은 OpenAI 시뮬레이션에서 벗어나 제품 중심 회사로의 패러다임 전환을 초래할 것입니다. 이는 2023년 Compound의 연례 회의에서 제가 제안한 가능성입니다.
종말론적 모델과 달리, 이러한 회사들은 일련의 진척 상황을 보여줘야 합니다. 그들은 응용 연구를 수행하는 과학 조직이 아니라 제품을 구축하는 규모 공학 문제를 기반으로 한 회사가 될 것입니다.
과학 분야에서 당신이 무엇을 하고 있는지 알고 있다면 그것을 해서는 안 됩니다. 공학 분야에서 당신이 무엇을 하고 있는지 모르겠다면 그것을 해서는 안 됩니다. - 리처드 해밍
신자들은 단기적으로 그들의 신성한 신앙을 잃지 않을 것 같습니다. 앞서 언급했듯이 종교가 번창함에 따라 그들은 생활과 예배의 스크립트와 启发式 방법을 편찬했습니다. 그들은 실체적인 기념물과 인프라를 구축하여 그들의 힘과 지혜를 강화하고 "자신이 무엇을 하고 있는지 알고 있다"는 것을 보여주었습니다.
최근 인터뷰에서 Sam Altman은 AGI에 대해 이렇게 말했습니다(강조는 내가 한 것입니다):
이것은 내가 처음으로 우리가 정말 무엇을 해야 할지 알고 있다고 느끼는 것입니다. 지금부터 AGI를 구축하는 데까지는 여전히 많은 작업이 필요합니다. 우리는 알려진 미지수가 있다는 것을 알고 있지만, 나는 우리가 기본적으로 무엇을 해야 하는지 알고 있다고 생각합니다. 이는 시간이 걸릴 것이며 매우 어려울 것이지만 매우 흥미롭습니다.
심판
「쓴 종교」에 의문을 제기하면서 확장 회의론자들은 지난 몇 년간 가장 깊이 있는 토론 중 하나를 정리하고 있습니다. 우리 모두는 어떤 형태로든 이러한 사고를 해 왔습니다. 우리가 신을 발명했다면 어떻게 될까요? 그 신은 얼마나 빨리 나타날까요? AGI(범용 인공지능)가 정말로, 불가역적으로 부상한다면 어떻게 될까요?
모든 알 수 없고 복잡한 주제와 마찬가지로, 우리는 빨리 우리만의 특정 반응을 뇌에 저장합니다. 일부 사람들은 그것들이 곧 무관해질 것이라는 절망감을 느끼고, 대부분의 사람들은 파괴와 번영의 혼합을 예상하며, 마지막으로 일부 사람들은 인간이 가장 잘하는 일, 즉 해결해야 할 문제를 계속 찾고 우리 자신이 만든 문제를 해결함으로써 순수한 번영을 달성할 것이라고 예상합니다.
큰 이해관계가 있는 사람은 누구나 확장 법칙이 성립하고 AGI가 몇 년 내에 도래한다면 세계가 어떤 모습일지 예측하고 싶어 합니다. 당신은 이 새로운 신에게 어떻게 봉사할 것이며, 이 새로운 신은 당신을 어떻게 섬길 것인가요?
그러나 정체의 복음이 낙관주의자들을 몰아내면 어떻게 될까요? 우리가 신조차 쇠퇴할 수 있다고 생각하기 시작하면 어떻게 될까요? 이전 기사 「로봇 FOMO, 규모의 법칙 및 기술 예측」에서 나는 다음과 같이 썼습니다:
때때로 확장 법칙이 성립하지 않는다면 어떻게 될지 궁금합니다. 이것이 수익 손실, 성장
<유니스왑(UNI)>, <후오비 토큰(HT)>, <옵티미즘(OP)>, <컴파운드(COMP)>, <알위브(AR)>, , <온톨로지가스(ONG)>, <테크플로우(TechFlow)>, <트론(TRON)>, 블록, <포모(FOMO)>, <초당 거래 수(TPS)>, <초기 코인공개(ICO)>, 머신러닝(ML), 관점, 대량, 상승, 업무, 프레임.
