人工智慧的圣战
我宁愿把我的一生过得像有上帝一样,等到死才发现上帝是不存在的,也不愿意过得像没有上帝一样,等到死才发现上帝是存在的。—— 布莱兹·帕斯卡
宗教是一件有趣的事情。可能因为它在任何方向上都是完全无法证明的,也可能就像我最喜欢的一句话:"你不能用事实来对抗感情。"
宗教信仰的特点是,在信仰上升的过程中,它们以一种难以置信的速度加速发展,以至于几乎无法怀疑上帝的存在。当你周围的人越来越相信它时,你怎么能怀疑一个神圣的存在呢?当世界围绕一个教义重新排列自己时,哪里还有异端的立足之地?当寺庙和大教堂、法律和规范都按照一种新的、不可动摇的福音来安排时,哪里还有反对的空间呢?
当亚伯拉罕宗教首次出现并传播到各大洲时,或者佛教从印度传播到整个亚洲时,信仰的巨大动能创造了一个自我强化的循环。随着更多的人皈依,并围绕这些信仰建立了复杂的神学体系和仪式,质疑这些基本前提变得越来越困难。在一片轻信的海洋中,成为异端并不容易。宏伟的教堂、复杂的宗教经文以及繁荣的修道院,都作为神圣存在的物理证据。
但宗教的历史也告诉我们,这样的结构是多么容易崩溃。随着基督教传播到斯堪的纳维亚半岛,古老的北欧信仰在仅仅几代人的时间里就崩溃了。古埃及的宗教体系持续了数千年,最终在新的、更持久的信仰崛起并在更大的权力结构出现时消失了。即便是在同一种宗教内部,我们也看到了戏剧性的分裂 —— 宗教改革撕裂了西方基督教,而大分裂则导致了东西教会的分裂。这些分裂往往从看似微不足道的教义分歧开始,逐渐演变成完全不同的信仰体系。
圣典
上帝是超越所有智力思维层次的隐喻。就是这么简单。—— 约瑟夫·坎贝尔
简单地说,相信上帝就是宗教。也许创造上帝也没什么不同。
自诞生以来,乐观的人工智慧研究人员就将他们的工作想象成神创论 —— 即上帝的创造。在过去几年中,大型语言模型(LLMs)的爆炸式发展,进一步的坚定了信徒们的信念,认为我们正走在一条神圣的道路上。
它也证实了2019年写的一篇博客文章。尽管在人工智慧领域外的人们直到最近才知道它,但加拿大计算机科学家理查德·萨顿的《苦涩的教训》已成为社群中越来越重要的文字,从隐秘的知识逐渐演变成一种新的、包罗万象的宗教基础。
在1,113个字中(每个宗教都需要神圣的数位),萨顿总结了一项技术观察:"从70年的人工智慧研究中可以学到的最大教训是,利用计算的通用方法最终是最有效的,而且是巨大的优势。"人工智慧模型的进步得益于计算资源的指数级增加,乘着摩尔定律的巨大波浪。
与此同时,萨顿指出,人工智慧研究中许多工作集中在通过专门的技术来优化效能 —— 增加人类知识或狭窄的工具。尽管这些优化可能在短期内有所帮助,但在萨顿看来,它们最终是浪费时间和资源的,犹如在一个巨大的浪潮到来时,去调节冲浪板的鳍或尝试新的蜡。
这就是我们所谓的"苦涩宗教"的基础。它只有一条戒律,社群中通常称之为"扩展套件法则":指数级增长的计算推动效能;其余都是愚蠢的。
苦涩宗教从大型语言模型(LLMs)扩展套件到世界模型,现在正通过生物学、化学和具身智慧(机器人学和自动驾驶车辆)这些未被转化的圣殿迅速传播。
그러나 새턴 이론의 확산에 따라 정의도 변화하기 시작했습니다. 이는 활발하고 생동감 넘치는 모든 종교의 표징입니다 - 논쟁, 확장, 주석. '확장 법칙'은 더 이상 단순히 확장 팩 계산을 의미하지 않습니다(방주는 단순한 배가 아닙니다). 이제 변압기와 계산 성능을 높이기 위한 다양한 방법을 의미하며, 일부 기술도 포함됩니다.
이제 고전적인 방식에는 AI 스택의 각 부분을 최적화하려는 시도가 포함됩니다. 핵심 모델 자체에 적용되는 기술(모델 결합, 전문가 혼합(MoE), 지식 추출)부터 이 영원히 배고픈 신들을 먹이기 위해 합성 데이터를 생성하는 것까지 다양한 실험이 이루어지고 있습니다.
대립하는 교파
최근 AI 커뮤니티에서 일어난 한 문제는 '쓰라린 종교'가 여전히 옳은지에 대한 성전 분위기를 풍기고 있습니다.
이번 주 하버드대, 스탠퍼드대, MIT가 발표한 '정확성의 확장 법칙'이라는 논문이 이 충돌을 불러일으켰습니다. 이 논문은 양화 기술 효율성 향상의 한계에 대해 다루고 있는데, 양화 기술은 AI 모델 성능을 개선하고 오픈소스 생태계에 도움을 주는 일련의 기술입니다. 앨런 AI 연구소의 연구 과학자 Tim Dettmers는 아래 게시물에서 이 논문의 중요성을 개괄하며 '오랜만에 가장 중요한 논문'이라고 언급했습니다. 이는 지난 몇 주간 지속되어 온 대화의 연장선상에 있으며, 두 종교의 점점 더 굳어지는 대립을 보여줍니다.
OpenAI 최고경영자 Sam Altman과 Anthropic 최고경영자 Dario Amodei는 같은 교파에 속합니다. 두 사람 모두 자신감 넘치게 향후 2-3년 내에 범용 AI(AGI)를 실현할 것이라고 말합니다. Altman과 Amodei는 '쓰라린 종교'의 신성성에 가장 의존하는 두 인물이라고 할 수 있습니다. 그들의 모든 동기 부여 조치는 과도한 약속과 최대의 과장을 만들어내어 이 규모 경제 주도 게임에서 자본을 축적하는 데 치중하고 있습니다. 만약 확장 법칙이 '알파와 오메가', 처음과 끝, 시작과 끝이 아니라면, 220억 달러로 무엇을 할 수 있겠습니까?
전 OpenAI 최고 과학자 Ilya Sutskever는 다른 원칙을 고수하고 있습니다. 그는 다른 연구자들(최근 유출된 정보에 따르면 많은 OpenAI 내부 연구자들 포함)과 함께 확장 법칙이 한계에 도달하고 있다고 믿고 있습니다. 이 그룹은 진전을 유지하고 AGI를 현실 세계로 가져오려면 새로운 과학과 연구가 필요하다고 생각합니다.
Sutskever 파는 Altman 파의 지속적인 확장 법칙 신념이 경제적으로 실현 불가능하다고 합리적으로 지적합니다. AI 연구원 Noam Brown이 묻듯이 "결국 수천억 달러 또는 수조 달러 규모의 모델을 훈련시켜야 할까요?" 이는 추론 계산에 추가로 수십억 달러가 필요한 것도 포함하지 않습니다.
그러나 진정한 신자들은 상대방의 논거에 매우 익숙합니다. 당신 집 앞의 전도사는 당신의 쾌락주의 삼단논법을 쉽게 해결할 수 있습니다. Brown과 Sutskever에 대해 Sutskever 파는 확장 법칙의 '추론 시 계산'의 가능성을 지적했습니다. 지금까지와 달리 '추론 시 계산'은 더 큰 계산에 의존하여 훈련을 개선하는 것이 아니라 실행에 더 많은 자원을 투입하는 것입니다.
AI 모델이 질문에 답하거나 코드 또는 텍스트를 생성할 때 더 많은 시간과 계산을 제공할 수 있습니다. 이는 수학 시험 준비에서 선생님께 1시간 더 시간을 달라고 설득하고 계산기 사용을 허락받는 것과 유사합니다. 생태계의 많은 사람들에게 이는 '쓰라린 종교'의 새로운 전면이 되고 있습니다. 팀들이 정통적인 사전 훈련에서 사후 훈련/추론 방법으로 전환하고 있기 때문입니다.
다른 신념 체계의 약점을 지적하고 다른 교리를 비판하면서 자신의 입장을 드러내지 않는 것은 쉽습니다. 그렇다면 내 자신의 신념은 무엇일까요? 첫째, 현재의 모델들이 시간이 지남에 따라 매우 높은 투자 수익을 가져다 줄 것이라고 믿습니다. 사람들이 제한을 우회하고 기존 API를 활용하는 방법을 배우면서 진정한 혁신적인 제품 경험이 등장하고 성공할 것입니다.
우리는 AI 제품의 물화와 점진적 단계를 넘어설 것입니다. 우리는 이를 '범용 AI(AGI)'로 보지 않아야 합니다. 그 정의에는 틀이 있기 때문입니다. 대신 '최소 실행 가능 지능'으로 보아야 합니다. 이는 다양한 제품과 사용 사례에 맞춤화될 수 있습니다.
초지능 AI(ASI)를 실현하려면 더 많은 구조가 필요합니다. 더 명확한 정의와 구분이 경제적 가치와 비용 간의 절충을 더 효과적으로 논의하는 데 도움이 될 것입니다. 예를 들어 AGI는 일부 사용자에게 경제적 가치를 제공할 수 있지만(단지 지역적 신념 체계일 뿐), ASI는 억제할 수 없는 복합 효과를 보여주며 세계, 우리의 신념 체계, 우리의 사회 구조를 변화시킬 수 있습니다. 확장 법칙 변압기만으로는 ASI를 실현할 수 없다고 생각합니다. 하지만 안타깝게도 이는 내 무신론적 신념일 뿐입니다.
잃어버린 신앙
AI 커뮤니티는 이 성전을 단기간에 해결할 수 없습니다. 이 감정적인 투쟁에는 사실적 근거가 없습니다. 대신 우리는 AI가 확장 법칙에 대한 신앙을 의문시하는 것이 의미하는 바에 주목해야 합니다. 신앙의 상실은 대규모 언어 모델(LLM)을 넘어 모든 산업과 시장에 연쇄 반응을 일으킬 수 있습니다.
유니스왑(UNI), 후오비 토큰(HT), 옵티미즘(OP), 컴파운드(COMP), 알위브(AR), 쿠사마(KSM), 앰프(AMP), Ronin(RON), 온톨로지가스(ONG), 블록템포(BlockTempo), 트론(TRON), 블록, 포모(FOMO), 초당 거래 수(TPS), 초기 코인공개(ICO), 대량, 상승, 프레임, 커뮤니티, 블록템포 (blocktempo), 머신러닝(ML), 관점, 업무, 융자.
종교의 교훈
나의 기술에 대한 견해는 복리 효과가 명백해 보이는 것은 일반적으로 오래 지속되지 않으며, 대부분의 사람들이 공통적으로 가지고 있는 관점은 복리 효과가 명백해 보이는 업무가 예상보다 훨씬 느린 속도와 규모로 발전한다는 것입니다.
종교 분열의 초기 징조는 일반적으로 예측 가능한 패턴을 따르며, 이러한 패턴은 《신앙의 쓴맛》의 진화를 계속 추적하는 데 사용될 수 있는 프레임워크로 작용할 수 있습니다.
그것은 일반적으로 자본주의적 또는 이념적 이유로 인한 경쟁적 해석의 출현으로 시작됩니다. 초기 기독교에서는 그리스도의 신성과 삼위일체의 본질에 대한 다른 관점으로 인해 분열이 발생했고, 이는 완전히 다른 성경 해석을 낳았습니다. 우리가 이미 언급한 AI의 분열 외에도 다른 균열이 나타나고 있습니다. 예를 들어 일부 AI 연구자들이 변환기의 핵심 정통 개념을 거부하고 상태 공간 모델, Mamba, RWKV, 액체 모델 등 다른 아키텍처로 전환하는 것을 볼 수 있습니다. 이들은 아직 약한 신호에 불과하지만, 이단적 사고의 싹트는 모습과 이 분야의 기본 원칙을 재고하려는 의지를 보여줍니다.
시간이 지남에 따라 예언자의 성급한 발언도 불신을 낳게 될 것입니다. 종교 지도자의 예언이 실현되지 않거나 신의 개입이 약속대로 이루어지지 않을 때 의심의 씨앗이 뿌려집니다.
밀러파 운동은 1844년에 그리스도가 재림할 것이라고 예언했지만, 예수님이 계획대로 오지 않자 그 운동은 붕괴되었습니다. 기술 분야에서 우리는 종종 실패한 예언을 조용히 묻어두고 우리의 예언자들이 계속해서 낙관적이고 장기적인 미래 버전을 그리도록 허용합니다(안녕하세요, 일론). 그러나 확장 가능성 법칙에 대한 신념도 원래 모델의 성능 향상으로 뒷받침되지 않는다면 유사한 붕괴를 겪을 수 있습니다.
부패하고 비대하거나 불안정한 종교는 이단자들의 영향을 받기 쉽습니다. 루터의 신학적 견해뿐만 아니라 가톨릭 교회의 쇠퇴와 혼란의 시기에 등장했다는 점이 종교 개혁 운동이 성공할 수 있었던 이유입니다. 주류 기관에 균열이 생길 때 오랫동안 존재해온 '이단' 사상이 비옥한 토양을 찾게 됩니다.
인공지능 분야에서 우리는 계산이나 데이터가 훨씬 적게 들면서도 유사한 결과를 달성하는 소규모 모델이나 대안적 방법에 주목할 수 있습니다. 예를 들어 중국 기업 연구소와 Nous Research와 같은 오픈소스 팀의 작업을 들 수 있습니다. 생물학적 지능의 한계를 뛰어넘고 오랫동안 극복할 수 없다고 여겨졌던 장벽을 극복한 사람들도 새로운 내러티브를 구축할 수 있습니다.
변화의 시작을 가장 직접적이고 시기적절하게 관찰할 수 있는 방법은 실무자의 움직임을 추적하는 것입니다. 공식적인 분열이 일어나기 전에 종교 학자와 성직자들은 종종 사적으로 이단적 견해를 유지하면서 공개적으로는 순응적인 태도를 보입니다. 오늘날의 대응 현상은 표면적으로는 확장 가능성 법칙을 따르지만 실제로는 완전히 다른 방법을 추구하다가 적절한 시기에 공감대에 도전하거나 실험실을 떠나 이론적으로 더 넓은 영역을 찾는 일부 AI 연구자들일 수 있습니다.
종교와 기술의 정통성에 관한 까다로운 점은 그것들이 종종 일부 진실을 포함하고 있지만, 가장 충성스러운 신자들이 생각하는 것만큼 보편적으로 옳지는 않다는 것입니다. 종교가 인간의 근본적인 진실을 형이상학적 프레임워크에 융합시킨 것처럼, 확장 가능성 법칙은 신경망 학습의 실제 상황을 명확히 설명합니다. 문제는 이러한 현실이 현재의 열정이 암시하는 것처럼 완전하고 변하지 않는지, 그리고 이러한 종교 기관(인공지능 실험실)이 열정적인 추종자들을 이끌어갈 만큼 충분히 유연하고 전략적인지 여부입니다. 동시에 지식이 전파될 수 있는 인쇄기(채팅 인터페이스와 API)를 구축하는 것도 중요합니다.
결론
"종교는 일반 대중의 눈에는 진실로, 지혜로운 자의 눈에는 거짓으로, 통치자의 눈에는 유용하다." - 루시우스 아나우스 세네카
종교 기관에 대한 한 가지 가능한 시대에 뒤떨어진 관점은 일정 규모에 도달하면 많은 인간 운영 조직과 마찬가지로 생존의 동기에 굴복하여 경쟁에서 살아남으려 한다는 것입니다. 이 과정에서 진실과 고귀한 동기(둘은 상호 배타적이지 않음)를 무시하게 됩니다.
나는 자본 시장이 어떻게 내러티브 구동 정보 고립실이 되는지에 대해 글을 쓴 적이 있으며, 동기 부여 메커니즘이 종종 이러한 내러티브를 지속시키는 데 도움이 됩니다. 확장 가능성 법칙에 대한 합의는 불길한 유사성을 느끼게 합니다 - 수학적으로 우아하고 대규모 자본 배치에 극히 유용한 뿌리 깊은 신념 체계. 많은 종교 프레임워크와 마찬가지로, 그것은 근본적인 진실보다는 조정 메커니즘으로 더 가치 있을 수 있습니다.
