작성자: @giantcutie666
2024년, 2000년대에 태어난 천재 과학자 레오폴드 아셴브레너는 오픈AI를 떠나 재단을 설립했습니다.
그는 또한 자신의 투자 전략을 적어두었습니다.
지금 돌이켜보면, 165페이지 분량의 이 논문, "상황 인식: 향후 10년"은 전설이 되었습니다.
작년에 이 점을 이해했던 사람들은 올해 확실히 재정적 자유를 달성했습니다!
이 논문의 핵심 관점 향후 10년 안에 인류가 일반인이 하는 모든 일을 수행할 수 있는 인공 일반 지능(AGI)을 개발하고, 그 뒤를 이어 초지능을 만들어낼 것이라는 점입니다.
현재 이 사실을 이해하는 사람은 수백 명에 불과하며, 그들 대부분은 샌프란시스코의 몇몇 거리에 모여 있습니다. 월스트리트, 언론, 워싱턴을 포함한 다른 사람들은 아직 이 사실을 파악하지 못했습니다(물론 월스트리트에서도 올해 들어 이 아이디어를 받아들이는 사람들이 있습니다).
파트 1: 2027년에도 인공 일반 지능(AGI)이 존재하는 이유는 무엇일까요?
이 방법은 다소 투박하지만 효과적입니다. 시간을 예측하는 것이 아니라 해시레이트 의 규모를 예측하는 것입니다.
지난 4년 동안 GPT-2에서 GPT-4로 발전하면서 모델의 "실질적인 해시레이트"은 약 10만 배 증가했으며, 6개월마다 10배씩 성장했습니다!
GPT-2는 마치 유치원생이 어설픈 문장을 쓰려고 애쓰는 것과 같고, GPT-4는 똑똑한 고등학생이 변호사 시험에 합격하고 박사 수준의 과학 문제를 해결하는 것과 같습니다.
이 10만 배 증가는 세 가지 요인에서 비롯되었습니다.
첫째, 하드웨어에 대한 막대한 투자가 있습니다. 학습에 사용되는 해시레이트 매년 세 배 이상 증가합니다. 무어의 법칙에 따르면 컴퓨팅 성능은 연간 1.3배 증가하지만, 사람들이 AI 칩에 막대한 투자를 하고 이를 특별히 개발하고 있기 때문에 AI는 다섯 배 더 빠르게 발전하고 있습니다.
둘째, 알고리즘은 점점 더 똑똑해지고 있습니다. 동일한 수학적 능력을 달성하는 데 드는 추론 비용은 2년 전보다 1,000배나 저렴해졌습니다. 이는 알고리즘 엔지니어들의 노력 덕분입니다.
셋째, 가장 흥미로운 기능은 일반적으로 기본적으로 비활성화되어 있는 잠금 해제 기능입니다.
이 모델 자체는 다양한 기능을 가지고 있지만, 기본 설정에서는 이러한 기능들이 억제되어 있습니다. 예를 들어, ChatGPT의 이전 기본 모델은 실제로는 매우 지능적이었지만, 사용 시에는 알아들을 수 없는 횡설수설처럼 들렸습니다. RLHF는 이러한 기능을 활성화시켰습니다.
예를 들어, 모델이 "답변하기 전에 잠시 생각할 시간"(사고 과정)을 갖도록 허용하면 추론 능력이 발휘됩니다. 도구를 제공하고 메모리를 구축하면 또 다른 차원의 능력이 발휘됩니다.
저자는 이 세 가지 경로가 향후 4년(2027년까지) 동안 10만 배 더 증가할 것으로 예측합니다.
가장 중요한 통찰력은 속박에서 벗어나는 데에 숨겨져 있습니다.
현재 모델은 단일 추론에서 약 수백 개의 토큰, 즉 "몇 분 동안만 생각할 수 있습니다." 만약 "수개월 동안 생각할 수 있다면", 즉 수백만 개의 토큰을 처리할 수 있다면 어떨까요?
예를 들어, 당신과 아인슈타인의 차이는 "5분 동안 생각하는 것"과 "5개월 동안 생각하는 것"의 차이보다 훨씬 작습니다.
이 잠금 해제가 성공한다면, 지능적인 도약이 3~4배 정도 더 커지는 것과 마찬가지일 것입니다. 결실은 이미 눈앞에 보입니다.
이러한 예측에 따르면, 2027년경에는 원격 근무자처럼 몇 주 동안 독립적으로 업무를 계획하고, 코드를 작성하고, 실험을 수행하고, 버그를 수정하고, 결과를 제출할 수 있는 인공지능이 등장할 것입니다.
이는 OpenAI 연구원을 완전히 대체할 수 있습니다. 저자들이 AGI를 정의하는 방식이 바로 이것입니다.
가장 큰 불확실성은 데이터 장벽에서 비롯됩니다. 즉, 고품질의 공개 인터넷 데이터가 빠르게 소모되고 있다는 점입니다.
제2부: 인공 일반 지능(AGI)은 최종 목표가 아니라 전환점이다.
인공지능이 인공지능 연구원들의 업무를 대신할 수 있게 되면 어떤 일이 벌어질까요?
해시레이트 그대로 유지되지만, 더 이상 "OpenAI, Anthropic, DeepMind의 연구원 수백 명을 모두 합친 수"에 제한받지 않습니다. 이제 인간보다 100배 빠른 속도로 작동하는 AI 연구원 1억 명을 동시에 실행할 수 있습니다.
단 며칠 만에 이뤄낸 성과는 사람이 1년 동안 하는 일과 맞먹습니다.
이러한 자동화 연구원들은 구조적인 이점도 가지고 있습니다. 모든 머신러닝 논문을 읽고, 모든 실험을 기억하고, 복제본 간에 생각을 직접 공유하고, 한 복제본을 훈련시켜 모든 복제본을 훈련시킬 수 있습니다(새로운 직원을 개별적으로 천천히 교육할 필요가 없습니다).
이는 인간이 알고리즘을 발전시키는 데 일반적으로 10년이 걸리는 작업을 단 1년 만에 완료할 수 있다는 것을 의미합니다.
그러면 그 해 안에 훨씬 더 똑똑한 차세대 모델이 등장할 것이고, 이 과정은 무한히 계속될 것입니다. 인공 일반 지능(AGI)에서 인간의 능력을 훨씬 뛰어넘는 초지능에 이르기까지는 불과 몇 달에서 1~2년 정도면 충분할 것입니다.
저자는 실험에 해시레이트 필요하고, 여러 복사본을 사용하더라도 GPU가 여전히 필요하다는 등의 병목 현상이 있음을 인정합니다. 그러나 그는 이러한 병목 현상이 폭발적인 증가 속도를 늦출 수는 있지만, 막을 수는 없다고 주장합니다.
초인공지능은 어떤 모습일까요?
인간의 경험을 초월하는 규모로, 수억 개의 복제본이 병렬로 실행되어 모든 분야에 걸쳐 즉시 융합되고, 단 몇 주 만에 천 년에 달하는 인간의 경험에 해당하는 양이 축적됩니다.
알파고의 37번째 수처럼 인간 전문가들이 수십 년 동안 생각해낼 수 없었던 수처럼, 질적으로 월등할 뿐만 아니라 모든 분야에 적용 가능합니다. 인간이 평생 동안 발견할 수 없는 코드 취약점을 찾아내고, 인간이 결코 이해할 수 없는 코드를 작성할 수 있습니다.
우리는 박사 학위 논문을 초등학생처럼 읽을 겁니다.
그 결과는 다음과 같습니다. 로봇 공학 문제가 해결되고(주로 하드웨어 문제가 아니라 머신러닝 알고리즘 문제임), 합성 생물학이 무기화되며, 스텔스 드론 편대가 핵무기를 선제적으로 파괴할 수 있게 됩니다.
향후 몇 년 안에 국제 군사 균형이 완전히 뒤바뀔 것이다.
제3부: 정말 시급한 네 가지 문제
문제 1: 1조 달러 규모의 클러스터
이 대회는 단순히 프로그래머들이 코드를 작성하는 것에 관한 것이 아니라, 산업 전체를 동원하는 대회입니다.
각 세대의 모델에는 더 큰 클러스터가 필요하고, 더 큰 클러스터에는 발전소가 필요하며, 발전소에는 칩 공장이 필요합니다.
현재 추세대로라면 2026년에는 1GW(후버 댐 하나에서 생산되는 전력량), 2028년에는 10GW(미국 중형 주 하나에서 생산되는 전력량), 그리고 2030년에는 100GW(미국 전체 전력 생산량의 20% 이상)에 달할 것으로 예상됩니다.
투자 규모는 2027년까지 연간 1조 달러를 넘어설 수 있습니다.
진짜 병목 현상은 돈이나 GPU가 아니라 전력입니다. "10GW의 전력을 어디서 구해야 할까?"가 지금 샌프란시스코에서 가장 뜨거운 화두입니다.
미국 영토에 이를 건설하려면 환경 승인 절차가 완화되어야 하고, 연방 정부의 권한을 활용하여 토지를 확보해야 하는데, 저자는 이를 국가 안보 문제로까지 상승.
미국이 이를 구축할 수 없다면, 해당 클러스터는 아랍에미리트나 사우디아라비아로 넘어갈 것이고, 이는 권위주의 국가에 인공 일반 지능(AGI)의 열쇠를 넘겨주는 것과 마찬가지입니다.
문제 2: 실험실에 누수가 발생하고 있습니다.
오늘날의 AI 연구소는 실리콘 밸리의 일반적인 스타트업과 비슷한 수준의 안전성을 갖추고 있습니다.
업계 최고 기업인 구글 딥마인드조차 국가 차원의 적대 행위에 대한 방어 능력이 4단계 중 0단계라고 인정하고 있습니다.
이게 무슨 뜻일까요? 인공 일반 지능(AGI) 모델의 "가중치"는 기본적으로 서버에 저장된 큰 파일과 같습니다.
이 문서의 도난은 "자동화된 AI 연구원"들을 중국에 직접 넘겨주는 것과 마찬가지입니다. 중국은 즉시 자체적인 AI 개발을 폭발적으로 확대하여 미국의 모든 주요 직책을 무용지물로 만들 수 있습니다.
더욱 시급한 문제는 알고리즘의 비밀입니다. 차세대 패러다임(데이터 장벽을 허무는 방법)의 핵심적인 돌파구가 샌프란시스코 기업들의 슬랙 채팅방 안팎에서 구체화되고 있습니다.
저자는 핵심적인 인공 일반 지능(AGI) 기술의 획기적인 발전이 향후 12~24개월 내에 중국에 유출될 것이라고 주장합니다. 단순히 가능성이 있는 것이 아니라 거의 확실하다는 것입니다.
중국 국가안전부와 비견될 만한 수준의 보안을 확보하려면 하드웨어 수준의 격리, 원자폭탄 엔지니어급의 인력 신원 조사, 그리고 특수 클러스터 설계가 필요하며, 이 모든 것을 구축하려면 최소 수년간의 반복적인 개발 과정이 필요합니다. 즉각적인 조치가 취해지지 않으면 2027년 인공 일반 지능(AGI) 획득 시점에 보안이 뒤처지게 되어, 결국 두 가지 심각한 선택지밖에 남지 않게 됩니다. 하나는 AGI를 다른 나라에 직접 넘겨주는 것이고, 다른 하나는 개발을 중단하고 보안이 확보될 때까지 기다리는 것(잠재적으로 주도권을 잃게 됨)입니다.
문제 3: 정렬 문제
현재 사용되는 정렬 기법은 RLHF라고 불리는데, 사람이 모델을 평가하면 모델은 그 사람을 만족시키도록 학습합니다.
이 방법은 인공지능이 인간보다 지능이 낮을 때는 효과적입니다. 하지만 인공지능이 인간보다 몇 배나 더 똑똑해지면 이 방법은 완전히 무용지물이 됩니다. 이해할 수 없는 박사 학위 논문을 어떻게 평가할 수 있겠습니까?
스마트 기술의 폭발적인 발전으로 이 문제는 극도로 긴장된 상황이 되었습니다.
1년도 채 안 되어 상황이 "RLHF는 여전히 작동한다"에서 "RLHF는 완전히 실패한다"로 급변했고, 반복적인 시행착오를 거칠 시간조차 없었다.
동시에, 상황은 "사소한 오류"(ChatGPT의 욕설)에서 "치명적인 오류"(초지능이 클러스터를 탈출하여 군사 시스템을 해킹하는 것)로 급변합니다.
중간 단계의 아키텍처는 여러 세대에 걸친 진화를 거쳤으며, 최종 초지능은 사고 방식 면에서 우리가 완전히 이해할 수 없는 경지에 이르렀습니다.
현재 모델은 추론에 영어 토큰을 사용하는데 (상대적으로 투명합니다), 미래에는 완전히 설명할 수 없는 내부 잠재 상태 추론으로 진화할 가능성이 높습니다.
저자들은 기술적 해결책에 대해 낙관적입니다. 쉽게 해결할 수 있는 문제들이 많고, 해석 가능성 연구에서도 진전이 있었기 때문입니다.
하지만 이 조직의 실행력에 대해서는 극심한 비관론이 존재합니다. 전 세계적으로 이 일을 진지하게 하는 사람은 기껏해야 수십 명에 불과할 것이며, 연구소는 안전상의 대가를 치를 기미를 전혀 보이지 않고 있습니다. "우리는 운에 너무 많이 의존하고 있습니다."
네 번째 문제: 자유 세계는 반드시 승리해야 한다
저자는 일부 국가들이 탈락하지 않았을 뿐만 아니라 매우 경쟁력 있는 모습을 보였다는 점을 주장하는 데 대량 분량을 할애하고 있다.
해시레이트 측면에서 보면, 화웨이의 7nm 칩(SMIC 제조)은 NVIDIA의 A100과 동일한 성능을 제공하며, 가격 대비 성능비는 2~3배 떨어지지만 대부분의 사용자에게는 충분합니다.
건설 능력: 지난 10년간 중국의 신규 발전 설비 용량은 미국의 전체 발전 설비 용량과 맞먹습니다. 100GW 규모의 발전 클러스터를 건설하기 위한 산업 동원 능력 측면에서 중국은 미국보다 더 강할 수 있습니다.
유출 경로: 미국 연구소의 보안이 유지되는 한, 핵심 알고리즘은 필연적으로 2년 안에 유출될 것이다.
시간 순서상 섬뜩한 우연의 일치가 있습니다. AGI의 예상 시점(2027년경)과 대만 해협 관측자들이 예측한 중국 공산당의 대만 공격 가능성 시기(2027년경)가 일치하고 있습니다. "AGI의 결말은 세계 대전이라는 배경 속에서 펼쳐질 수도 있습니다."
저자는 미국이 "건전한 우위"를 유지해야 한다고 결론짓고, 그 기간을 2년으로 제시한다. 이 2년의 유예 기간은 상황을 안정시키고 초지능 시대 이후의 국제 질서에 대해 중국과 협상하기 위한 것이다.
우리가 이 정도의 격차를 좁히지 못하면 전 세계는 "지능 폭발을 통한 생존 경쟁"에 돌입하게 될 것이며, 모든 안전 여유는 사라지고 모두가 속도를 쫓느라 발가벗은 채로 달리게 될 것입니다.
제4부: 프로젝트 (맨해튼 프로젝트의 인공 일반 지능 버전)
여기서 저자는 책 전체에서 가장 대담한 예측을 내놓는다.
미국 정부가 소규모 독립 스타트업이 초지능 기술을 개발하도록 허용하는 것은 불가능합니다. 우버를 이용해서 원자폭탄을 개발한다고 상상해 보세요.
예측: 2027년 또는 2028년경, 미국 국가 안보 기관이 어떤 형태로든 인공 일반 지능(AGI) 프로젝트를 인수할 것입니다. 이는 방위 산업체 모델(OpenAI가 록히드 마틴이 되는 것), 합작 투자 모델(클라우드 업체, 연구소, 정부 기관의 참여), 또는 더욱 극단적인 형태인 국유화로 나타날 수 있습니다.
핵심 연구원들은 SCIF 보안 시설로 이전했고, 수조 달러 규모의 연구 단지는 전시 속도로 건설되었다.
발전 경로: 진정으로 위협적인 능력 시연은 2026/27년에 나타날 수 있습니다. 이는 "초보자가 생물학 무기를 만드는 것을 돕는 것"이나 인공지능이 자율적으로 중요 기반 시설을 해킹하는 것일 수 있습니다.
중국 공산당의 연구소 침투 실태가 드러나면서 워싱턴의 분위기는 급격히 바뀌었다. "인공지능 맨해튼 프로젝트가 정말 필요한가?"라는 질문이 처음에는 서서히 제기되다가 갑자기 최우선 과제로 떠올랐다.
왜 꼭 정부여야 할까요? 초지능은 인터넷이 아니라 핵무기 범주에 속하기 때문입니다. 민간 기업은 지금까지 완전한 형태의 핵무기를 보유하는 것이 허용된 적이 없습니다.
중국의 전력을 견뎌낼 수 있는 수준의 안보를 확보하려면 정부 차원의 인프라 구축만이 가능하다. "스마트 폭발", 즉 "1년 안에 모든 것을 바꿔놓는" 과정을 관리하려면 스타트업 이사회가 아니라 핵무기급 지휘 체계가 필요하다.
저자는 정부의 효율성에 대해 아무런 환상도 품지 않았다(맨해튼 프로젝트 역시 관료주의 때문에 지연되었다). 하지만 그에게는 더 나은 선택지가 없었다.
제5부: 작가의 고백
저자는 양측 진영 모두 틀렸다고 비판한다.
가속주의자들은 시장이 스스로 규제될 것이라고 순진하게 믿으며, 시장 정렬과 안정성 확보에 따르는 실제적인 어려움을 간과합니다.
종말론자들은 모든 것을 멈춰야 한다고 주장하지만, 중국은 멈추지 않을 것이다. 멈춘다는 것은 패배를 인정하는 것이기 때문이다.
"올바른 자세"의 저자는 AGI입니다. 현실주의:
① 초지능은 국가 안보에 결정적인 기술입니다.
② 리스크 현실적이며 우리는 대비가 되어 있지 않습니다.
③미국은 '프로젝트'를 수행하고 초지능 시대 이후의 국제 질서를 주도해야 한다.
샌프란시스코 만 지역의 몇몇 거리, 그것도 몇백 명의 사람들이 전체 문명의 방향을 결정하고 있다.
