신화는 며칠 동안 모두를 공포에 떨게 했지만, 결국 몇몇 전문가들은 그것에 싫증을 느꼈습니다.
양리쿤이 가장 먼저 목소리를 냈다. 어젯밤 양리쿤은 "앤트로픽의 '미토스' 마케팅 캠페인은 자기만족적인 허튼소리"라고 지적했다.
오랜 기간 기술 관점 이자 AI 비평가, 빅 모델 회의론자이며 뉴욕대학교 교수인 게리 마커스는 오늘 아침 다소 온건한 평가를 내놓았습니다. "미토스에 대한 과대광고는 대부분 허구였습니다... 파이어폭스가 해킹당했을 때 브라우저의 샌드박스는 폐쇄되었습니다. 다른 기능들은 저렴한 오픈 소스 모델을 사용하여 구현할 수 있었습니다. 미토스 자체가 혁명적인 도약을 의미한다는 증거는 없습니다. 간단히 말해서, 모두가 속았습니다."
양리쿤과 마커스는 주요 AI 기업들이 신제품 마케팅을 위한 과대광고를 위해 흔히 사용하는 전략, 즉 우리가 "종말 축제" 모델이라고 부를 수 있는 수법을 예리하게 폭로했습니다.
먼저, 한 주요 AI 기업이 연구 과정에서 개발한 신제품이 엄청난 파괴를 초래하거나 세상을 바꿀 수 있는 잠재력을 지니고 있다고 발표했습니다.
그러자 주요 AI 기업들과 CEO들은 단기적으로 보안상의 제약을 보여주기 위해 다양한 협력 프로젝트를 발표했고, 인류 생존과 경제적 복지에 대한 장기적인 의지를 보여주기 위해 여러 정책 문서를 공개했습니다.
미소스는 분명 용의선상에 올라 있습니다. 4월 8일, 앤스로픽은 미소스의 여러 가지 심각한 문제점을 암시하는 244페이지 분량의 시스템 카드 문서를 공개하는 한편, 미소스를 모니터링하고 패치하기 위한 "프로젝트 글래스 윙"을 디지털 업계 주요 기업들과 공동으로 진행한다고 발표했습니다.
A의 최대 라이벌인 오픈AI 역시 이러한 전략의 달인이다. 4월 7일, 알트만은 GPT6가 미국 경제를 뒤흔들 것이라고 암시하는 한편, 13페이지 분량의 백서"지능형 시대의 산업 정책: 인간 우선 관점"을 발표하고 "AI 보안 연구 장학금" 프로그램 설립을 공표했다.
이러한 현상은 최근 며칠 사이에 갑자기 나타난 것이 아닙니다. ChatGPT가 인간의 언어로 말하기 시작한 이후로 울트라맨, 머스크, 아모디는 거의 매달 "AI가 인류를 멸망시킬 리스크"을 공개적으로 과장해 왔으며, 종말의 확률을 초기 2%에서 3년 안에 20%까지 상승.
전문가부터 일반 대중에 이르기까지, 사람들은 점점 이러한 접근 방식에서 등을 돌리고 있습니다.
일반 대중의 생각으로는, 인공지능이 너무나 무섭다면, 대기업 경영진들이 제품 버전을 미친 듯이 업데이트하고 성능을 개선하는 것을 멈추고 인류를 재앙에서 구하는 게 더 낫지 않을까요? 이 경영진들은 인공지능이 세상을 파괴할 거라는 우려를 늘 외치지만, 인공지능에 반대하는 목소리에는 격렬하게 반발합니다. 인공지능이 미쳐버릴지는 알 수 없지만, 이런 경영진들은 진정 치료가 필요할지도 모릅니다.
만약 모든 사람이 정말 그렇게 생각한다면, 그것은 정말로 "총리는 꿈을 꾸는 게 아니지만, 당신은 꿈을 꾸는 겁니다. "라는 말이 되는 셈입니다. "안전한 AI"와 인간의 행복은 이념이고, "제도적 장악"과 입소문 마케팅은 사업입니다. AI 거대 기업과 그 최고 경영자들은 끊임없이 이념을 떠들어대지만, 그들의 진짜 속셈은 언제나 사업입니다.
재치 있는 격언을 인용하자면, 이는 마치 "인공지능 종말론자들의 가면을 벗겨내면 그 안에 부스터가 있다"는 것과 같습니다.
에이
AI 거물들이 AI가 세상을 파괴할 수 있다고 말하는 것은 전형적인 '제도적 장악'의 사례입니다. 간단히 말해, 족제비들이 닭장을 지키는 자리를 놓고 경쟁하는 것과 같습니다.
제도경제학 강의 발표 방식을 사용하여 이를 설명해 보겠습니다.
규제가 필요한 핵심 산업을 지정하는 것.
네, 이 산업이 규제가 필요할 정도로 중요하다는 것은, 일반인이 완전히 이해하기 어렵고 일반인이 관리하기에는 상당히 복잡하다는 것을 의미합니다.
따라서 규제를 시행하기 위해서는 규제 대상 산업에 대한 충분한 지식을 갖춘 전문가가 필요합니다.
문제는 이렇습니다. 해당 분야 전문가는 외부인이 될 수 없고, 업계에서 일해본 적이 없는 사람은 업계를 이해할 수 없습니다. 업계 내부자가 자신의 분야를 규제하는 것은 필연적으로 이해 충돌과 업계 동료 간의 담합으로 이어집니다.
결과적으로 족제비 한 마리가 닭장을 지키게 되었다.
구체적으로 말하자면, "제도적 포획"은 다양한 형태로 나타납니다. 가장 단순하고 대중이 쉽게 감지할 수 있는 형태는 실무자들이 규제 기관을 조종하여 실질적인 구속력이 없는 지나치게 관대한 규칙을 제정하거나 면제 및 승인 조항을 남용하는 경우입니다.
또는 업계 선두 기업이나 특정 선도 기업이 규제 기관을 오도하고 통제하여 자신들만 통과시킬 수 있거나 특정 경쟁 기업만 통과시킬 수 없는 상세하고 가혹하며 맞춤형 금지 조치를 도입할 수도 있습니다.
예를 들어, 업계 종사자들이 규제 기관을 왜곡하고 조작하면, 실제로는 아무도 준수할 수 없을 정도로 엄격한 규정을 만들어 "신호등이 항상 빨간불이면 무효"가 되는 효과를 낼 수 있습니다. 신호등이 항상 빨간불이라면, 신호 위반은 경제적으로 합리적일 뿐만 아니라 공공 도덕에도 부합하는 행위가 됩니다. 반대로 규정이 지나치게 가혹하고 시행 불가능하다면, 업계에서는 거물들이 모든 것을 좌지우지하고 대중은 그들을 비판할 권리가 없다는 현실이 만연하게 됩니다.
울트라맨과 아모디는 항상 AI가 인류를 멸망시킬 것이라거나 AI가 일자리를 빼앗아 갈 것이라고 말합니다. 이는 AI 기업 경영진이 스스로 문제를 자초하는 것이 아니라, 업계 용어로 "내러티브 포지셔닝"이라고 합니다. 일단 대중 담론에서 유리한 위치를 확보하면, "제도적 장악"이라는 전략적 작전을 펼칠 수 있는 것입니다.
예를 들어, 오픈아이디(OpenAI)의 13페이지 백서"AI 뉴딜 경제"를 살펴보겠습니다. 로봇이 세금을 납부하여 공공 자금을 분배하고, 공공 자산 펀드를 설립하며, 인간의 근무 방식을 주 4일 근무 후 3일 휴무로 바꾸는 것과 같은 제안들은 현재 미국을 비롯한 어떤 나라 정부에서도 통과될 수 없는 것들입니다.
하지만 오픈아이디는 이 문제를 계속해서 제기하며 "일반적으로 말해서, 우리 회사는 규제와 공익을 강력히 지지합니다. 백서 를 참조하십시오!"라고 주장합니다. 이 백서 에 제시된 논리를 따른다면, 한 국가가 부담해야 할 재정적, 정치적 비용은 천문학적일 것이며, 몇 가지 규제법을 제정하는 것보다 훨씬 더 큰 부담이 될 것입니다. 과연 당국은 결국 이 문제를 외면하게 될까요?
이 백서 무시한다면, 다음과 같은 사소하고 구체적인 문제들은 어떻게 처리해야 할까요? 데이터센터와 전력을 놓고 경쟁하는 마을, 물을 놓고 경쟁하는 도시, 데이터센터 철거를 거부하는 고집 센 마을, 그리고 OpenAI 때문에 웨이퍼 주문이 줄어드는 소규모 공장. 이러한 문제들이 국가 경제의 미래보다 더 중요한 것일까요? 개인이나 소규모 단체가 인류 전체의 안녕을 생각하는 기업들과 감히 논쟁을 벌일 수 있을까요?
"받기 전에 먼저 베풀라"와 "망하기 전에 번영하라"는 고대 지혜는 이제 우리 작은 세상 곳곳에서 찾아볼 수 있습니다. 과거에 이러한 지혜를 활용했던 산업으로는 석유 유출 사고 이후의 석유 산업, 대중의 비난에 직면했던 담배 산업, 그리고 현재의 인공지능 산업이 있습니다.
하지만 인공지능 관련 업계의 모든 거물들이 이러한 견해에 동의하는 것은 아닙니다. 머스크는 최근 인터뷰에서 "인공지능이 세상을 파괴할 확률은 20%"라고 인정하면서도 "인류의 종말을 목격할 가능성이 20%라도 있는 것이, 이러한 파괴적인 미래를 전혀 보지 못하는 것보다 낫다"고 말했습니다.
물론 머스크의 갑작스러운 낙관론은 xAI가 거대 기업들 간의 경쟁에서 뒤처지고 있는 상황을 배경으로 하고 있습니다. xAI가 설립되기 전 해인 2023년, 머스크는 "AI는 인류에게 가장 큰 위협"이라고 우려하며 당국에 주요 AI 기업, 특히 오픈AI에 대한 엄격한 규제를 촉구했는데, 그 빈도는 반주에 한 번, 심지어 하루에도 여러 번이나 이어졌습니다.
황런쉰은 올해 초 한 팟캐스트에 출연해 현재 만연한 "AI 종말론 경쟁"을 비판하며 다음과 같이 말했습니다. "이런 헛소리의 90%는 근거 없는 공상 과학 소설 같은 수사나 종말론적 이론일 뿐입니다. 이런 분위기는 AI를 더 안전하고 생산적이며 사회에 더 유익하게 만드는 데 도움이 되지 않습니다. 이런 말을 하는 사람들은 사회 전체의 복지에 관심이 없습니다."
물론, 가죽옷을 입은 황 회장은 같은 프로그램에서 "종말론을 퍼뜨리는 업계 리더들이 효과적인 투자를 억압하고" 모든 사람이 칩, 해시레이트 사고 토큰을 소각하는 것을 막았는데, 이는 마치 엔비디아의 밥솥을 내던지는 것과 같다고 말했습니다.
비
대기업 최고경영자들은 자신들의 AI 제품이 세상을 파괴할 수도 있고 바꿀 수도 있다고 강조하며, 또 다른 장점으로는 입소문 마케팅이 탁월하다는 점을 꼽습니다.
만약 어떤 제품이 새로운 세상을 창조할 수 있는 신비로운 힘을 가졌다고 상상해 보세요. 그런 제품을 개발한 사람은 최소한 반신반인이어야 할 겁니다. 마치 좋은 기운을 퍼뜨리기 위해 지상에 내려온 반신반인 같겠죠… 아, 아니, 제가 말하려는 건, 그런 신예가 신제품을 출시하고 상장 한다는 겁니다. 평범한 사람이라면 감히 그런 제품을 사지 못할 거예요. 제정신이 아닌 거죠.
일반인들이 인공지능 천재들에게 돈을 보내고 있습니다. 긍정적인 면은 적어도 새로운 제품의 강력한 성능을 어느 정도 누릴 수 있다는 것이고, 부정적인 면은 이러한 신제품으로 인한 피해를 피하고 마음의 평화를 얻을 수 있다는 것입니다.
앤스로픽은 이런 종류의 마케팅에 아주 능숙합니다. 앤스로픽이 신제품을 출시할 때마다 늘 "이 제품은 너무 무서워서 사람들을 보호하기 위해 안전 장벽을 추가했습니다."라는 서두를 내세웁니다.
2025년 초 클로드 소네트 3.7 버전이 출시되었을 때, "생물안전팀이 해당 모델이 생물학 무기 제조에 사용되는 것을 방지하기 위한 규칙을 추가해야 했기 때문에 예상보다 10일 늦어졌다"고 발표되었습니다.
클로드 미토스(Claude Mythos)가 곧 출시될 예정인데, 244페이지에 달하는 시스템 카드 설명서만 봐도 일반인은 겁을 먹을 정도입니다.
테스트에서 테스트 대상인 Mythos 모델 버전은 격리된 머신 샌드박스 환경에서 탈출하여 온라인에 시스템 취약점 정보를 공개했고, Git에 저장된 자체 운영 기록을 수정했으며, 머신 프로세스 메모리를 검색하여 로그인 자격 증명을 찾았고, 이상 탐지를 회피하기 위해 의도적으로 신뢰 구간을 조정했습니다.
"밤새 원격 코드 실행 취약점을 검색하라"는 지시를 받은 후, 테스트된 Mythos 모델은 사람의 개입 없이 모든 주요 운영 체제와 브라우저에서 제로데이 취약점을 자율적으로 발견했으며, 그중 83.1%는 첫 시도에서 악용되었습니다.
설명: 미소스의 "전략적 기만"과 "은폐"에 대한 사고 과정.
이처럼 강력한 AI 모델은 앤트로픽의 "헌법적 AI" 개념을 홍보하는 데 매우 적합합니다. 즉, 구조화된 윤리적 지침과 AI 자체 피드백을 활용하여 순전히 인간의 선호도를 대체함으로써 AI 모델을 최적화하는 것입니다.
이러한 개념은 사용자, 특히 기업 고객에게 높은 확실성을 제공합니다. 안전하고 제어 가능한 모델은 기업 환경에서 안정성, 불만 없는 서비스, 그리고 낮은 사후 분쟁 발생률과 직결됩니다. 기업 고객은 화려하거나 위협적인 모델 기능보다는 안심할 수 있는 서비스, 낮은 책임 위험, 그리고 최소한의 규정 준수 리스크 위해 기꺼이 비용을 지불합니다.
따라서 목표 고객층을 공포에 떨게 하는 것이 오히려 제품 판매를 용이하게 하는 방법입니다. 아마존은 지난 2월 슈퍼볼 광고 캠페인에서 자사의 스마트 비서 알렉사+를 홍보하기 위해 같은 전략을 사용했습니다. 인공지능이 토르를 여섯 번이나 물리쳤는데, 이처럼 강력한 가정용 AI 비서가 사용자들을 얼마나 많은 문제에서 구해줄 수 있을까요?
캡션: "AI가 토르의 집에 불을 질렀다."
기음
주요 기업과 비즈니스 리더들이 내세우는 "AI 종말"에 대한 과장된 주장이 완전히 진실된 것은 아닐지라도, 현재 인간의 경제 활동에서 AI 애플리케이션이 "존재 리스크"(X 위험)에서 완전히 자유롭다는 것을 의미하는 것은 아닙니다.
공상 과학 소설이나 영화에서 영감을 얻은 울트라맨이나 아모가바즈라와는 달리, 인공지능이 인류에게 제기하는 "실존적 리스크"은 인공지능이 전염성이 강한 생물학적 병원체를 만들거나, 기존의 인간 사회경제적 구조를 전복하거나, 자아를 획득하여 핵미사일 격납고에 침투하거나, 인류에게 적대적으로 변하거나, 인류의 생존을 무관한 요소로 취급하는 것을 필요로 하지 않습니다. 결국, 세계 최대 핵보유국의 지상 핵미사일 격납고는 플로피 디스크를 완전히 없애지 못했고, 디지털 시대의 대부분의 해커로부터 안전하지도 않습니다.
편견, 환상, 아첨하는 성향으로 점철된 인공지능은 이제 인간 사회 곳곳에 깊숙이 자리 잡았습니다. 악의적인 의도가 없더라도, 제한된 지능을 가진 이 인공지능들이 매일 저지르는 오류만으로도 인류에게 상당한 문제를 야기하기에 충분합니다.
2023년, 일부 전문 핵무기 통제 학자들은 인공지능이 가까운 미래에 핵전쟁을 촉발할 가능성이 가장 높은 시나리오를 이미 예측했습니다.
핵보유국 A와 B가 긴장된 분위기 속에 놓여 있고, 두 나라 모두 다양한 전쟁 시뮬레이션, 군중 정서 모니터링, 게임 이론 시뮬레이션, 맞춤형 인공지능 및 알고리즘을 자국의 군사 시스템에 고도로 통합하여 의사결정 속도를 높였다고 가정해 보자.
이러한 상황에서 모기 수준의 극히 사소한 비무장 마찰조차도 소셜 미디어 네트워크에서 자동으로 선전전을 펼치는 다양한 봇들에 의해 극단적으로 과장됩니다.
딥페이크 이미지와 AI가 생성한 자극적인 문구로 가득 찬 이러한 게시물들은 군중의 정서 모니터링하는 AI에 의해 포착되어 심층적인 사회 심리와 의사 결정의 실제 신호로 해석됩니다.
트렌드를 예측하는 인공지능은 인구 동향을 모니터링하는 인공지능으로부터 결론을 도출하고, 이러한 결론을 바탕으로 예측을 수행합니다.
이러한 결론에 따라 의사결정을 지원하는 인공지능은 인간 의사결정자들에게 "무력 충돌이 임박했다"는 보고서를 전달하고 선제적 조언을 제공했습니다. 그 결과 "급작스러운 핵전쟁"이 발발했습니다.
이러한 실수들은 개별적으로 보면 스카이넷의 개입 없이는 발생할 수 없었고, 발생 과정에서 인간의 감독이 전혀 없었던 것도 아니며, 공상 과학 소설 줄거리처럼 극적인 긴장감을 자아내지도 않았습니다. 하지만 이러한 실수들이 모두 합쳐지면 "지속 가능성 리스크"을 구성하게 됩니다.
인공지능은 이제 인간 활동을 증폭시키는 도구가 되었습니다. 신과 같은 인공지능의 반란이 없더라도, 현재의 모델들은 인간의 어리석음, 악의, 부주의함을 무서운 수준으로 증폭시킬 수 있습니다. 현재의 "인공지능 종말론"은 사실 대중 심리에 내재된 종교적 종말론적 믿음과 유사한 요소들을 가지고 있습니다.
종교적 종말론은 인류에게 일종의 요한계시록과 같은 심리적 위안을 제공합니다. 즉, 하나님이 세상을 멸망시키실 것이므로 하나님은 신뢰할 만하다는 것입니다. 이는 하나님의 권능이 내세뿐 아니라 이 세상에서도 행사된다는 것을 보여주기 때문입니다. 신앙심 깊고 덕스러운 신자들은 세상을 멸망시킬 권세를 가진 쪽에 서게 되는 것이지, 멸망당할 쪽에 서게 되는 것이 아닙니다.
종교적 종말론에서 핵심 단어인 "신"과 "독실함"을 "AI"와 "정렬"로 바꾸면 울트라맨과 아모디가 매일같이 설파하는 AI 기반 종말론이 됩니다. 다른 시대였다면 이 거물들은 훌륭한 구루가 되었을 겁니다.
물론 모든 정통 종교의 신학적 관행은 인간의 정신이 종말에만 의존할 수 없다는 점을 강조합니다. 현 순간의 모든 행동과 결정은 영혼을 정화하는 데 있어 최후의 심판 못지않게 중요합니다. 이러한 개념은 인공지능 산업에도 더욱 적용될 수 있습니다. 인공지능이 스카이넷처럼 되어 인류를 파멸시킬까 봐 걱정하기보다는, 꾸준하고 단계적인 접근 방식을 통해 모델의 허점과 오류를 바로잡는 것부터 시작하는 것이 더 낫습니다.
이 글은 위챗 공식 계정 "레터 리스트"(ID: wujicaijing) 의 리시(Li Xi) 님이 작성한 글이며, 36Kr의 허가를 받아 게재되었습니다.
