앤스로픽은 2억 달러 규모의 국방부 계약을 체결했고, 기밀 네트워크 접근 권한을 보유했으며, 미군으로부터 전폭적인 신뢰를 받았습니다.
그러자 그들은 질문을 던졌습니다.
2024년 11월, 앤트로픽은 펜타곤의 기밀 네트워크 내부에 AI 기술을 도입한 최초의 첨단 AI 기업이 되었습니다. 이 파트너십은 팔란티어와의 협력을 통해 구축되었습니다. 2025년 7월까지 계약 규모는 2억 달러로 성장했는데, 이는 대부분의 방위산업 스타트업이 10년 동안 벌어들이는 수익보다 훨씬 큰 규모입니다.
앤트로픽의 AI 모델인 클로드는 모든 곳에 있었다. 정보 분석, 사이버 작전, 작전 계획, 모델링 및 시뮬레이션 등 모든 분야에서 활용되었다. 미 국방부는 이를 "임무 수행에 필수적인 요소"라고 불렀다.
그리고 2026년 1월이 왔습니다.
클로드는 베네수엘라에서 진행된 극비 군사 작전, 즉 니콜라스 마두로 체포 작전에 투입되었습니다.
앤트로픽은 파트너사인 팔란티어에게 간단한 질문을 던졌습니다. "우리 기술이 정확히 어떻게 사용되었습니까?"
대부분의 산업 분야에서는 이를 실사라고 부릅니다. 하지만 미 국방부는 이를 불복종이라고 불렀습니다.
"우리 회사의 AI는 어떻게 활용되고 있습니까?"라고 질문한 회사는 국가 안보에 위협이 되는 존재로 낙인찍힐 뻔했습니다.
모든 것을 바꾼 7일
진행 상황은 이렇습니다. 일이 빠르게 진행되죠. 그게 핵심입니다.
2월 24일 : 피트 헤그세스 국방장관은 앤트로픽의 CEO인 다리오 아모데이를 펜타곤으로 소환한다. 그의 요구는 단도직입적이었다. 클로드에 대한 모든 안전장치를 제거하라는 것이었다. 대규모 국내 감시 시스템, 완전 자율 무기 등 모든 것을 말이다.
마감일: 2월 27일 오후 5시 1분 (미국 동부시간).
2월 26일 : 아모데이가 답변을 발표했습니다. 두 글자로 된 짧은 답변입니다.
아니요.
그는 공개 성명에서 자신이 절대 넘지 않을 두 가지 레드라인을 명시했습니다.
- 대규모 국내 감시는 아닙니다. AI가 위치 데이터, 검색 기록, 금융 기록 등을 자동으로 대규모로 수집하여 프로필을 만드는 것입니다. 아모데이의 주장은 현행법이 정부로 하여금 영장 없이 이러한 데이터를 구매할 수 있도록 허용하고 있다는 점입니다. AI는 이러한 데이터를 무기화할 수 있게 합니다. "법은 아직 급속도로 발전하는 AI의 역량을 따라잡지 못하고 있습니다."
- 완전 자율 무기는 없다. 다시 말해, 누군가를 죽이는 결정에서 인간을 완전히 배제할 수는 없다는 뜻이다. 자율 무기가 결코 실현 가능하지 않아서가 아니라, 오늘날의 인공지능이 충분히 신뢰할 만하지 않기 때문이다. "최첨단 인공지능 시스템은 완전 자율 무기를 구동할 만큼 신뢰할 수 없다."
그는 신뢰성 향상을 위한 연구 개발을 위해 국방부와 직접 협력하겠다고 제안했지만, 국방부는 이를 거절했다.
2월 26일(같은 날) : 에밀 마이클 차관은 아모데이를 "신처럼 행세하는 거짓말쟁이"라고 공개적으로, 소셜 미디어에 비난했다. 분위기는 이미 정해져 있었다.
2월 27일 오후 5시 01분 : 마감 시한이 지났습니다. 트럼프 대통령은 모든 연방 기관에 앤트로픽 사용을 중단하라고 명령했습니다. 헤그세스는 2018년 연방 조달 공급망 보안법에 따라 앤트로픽을 "공급망 위험" 기업으로 지정했습니다.
이전에는 화웨이와 카스퍼스키처럼 적대적인 정부와 연관성이 입증된 외국 기업에만 해당되는 명칭이었습니다.
지금까지 미국 기업에는 적용된 적이 없었다. 하지만 이제는 달라졌다.
2월 27일, 몇 시간 후 : OpenAI는 같은 미 국방부와 기밀 배포 계약을 체결했습니다.
샘 알트먼이 오후 8시 56분에 트윗했습니다:
OpenAI는 이후 자사의 계약이 "Anthropic의 계약을 포함하여 기밀 AI 배포와 관련된 이전의 어떤 계약보다 더 많은 안전장치를 갖추고 있다"고 주장했습니다.
문제는 이겁니다. 앤트로픽은 안전장치 때문에 블랙리스트에 올랐습니다. 그런데 그 안전장치가 바로 앤트로픽의 강점이었죠.
주말 : 반발은 즉각적이었다.
- 센서 타워에 따르면 ChatGPT 앱 삭제 건수가 하루 만에 295% 급증했습니다. 지난 30일간의 일일 평균 삭제율은 9%에 불과했습니다.
- 클로드(Claude)는 미국, 벨기에, 캐나다, 독일, 룩셈부르크, 노르웨이, 스위스 등 7개국 애플 앱스토어에서 1위를 차지했습니다. 금요일 다운로드 수는 37%, 토요일은 51% 증가했습니다. 이 앱이 앱스토어 1위에 오른 것은 이번이 처음입니다.
- 300명이 넘는 구글 직원과 60명의 오픈AI 직원이 앤스로픽을 지지하는 공개 서한에 서명했습니다.
- #QuitGPT 해시태그가 소셜 미디어에서 트렌드가 되었습니다. 배우 마크 러팔로와 뉴욕대 교수 스콧 갤러웨이가 이 운동에 힘을 실어주었습니다.
사용자들의 반응은… 그다지 좋지 않았습니다.
3월 2일 : 알트만이 다시 게시물을 올렸습니다. 이번에는 X에 공개된 장문의 내부 메모였습니다.
개정안에는 세 가지 사항이 추가되었습니다.
- 미국 시민에 대한 국내 감시를 명시적으로 금지함
- NSA가 시스템에 접근하려면 별도의 계약 수정이 필요하다는 요구 사항
- 상업적으로 수집한 개인 데이터(위치 정보, 검색 기록, 금융 기록) 사용에 대한 제한
마지막 항목은 잠시 짚어볼 만합니다. 월요일에 추가된 내용인데, 이는 금요일 거래가 해당 항목을 금지하지 않았다는 뜻입니다.
3월 3일 : 같은 날 두 가지 일이 일어났습니다.
첫째, a16z 아메리칸 다이내미즘 서밋에서 팔란티어 CEO 알렉스 카프는 군과의 협력을 거부하는 AI 기업들은 국유화될 것이라고 경고했습니다. 그는 무대에서 인종차별적인 발언을 했습니다. 이 영상은 1,100만 조회수를 기록했습니다.
방위 기술 회사인 안두릴의 창립자 팔머 럭키는 같은 청중에게 "'정부가 당신의 기술을 이용해 민간인을 표적으로 삼을 수 없다'와 같이 겉보기에는 무해해 보이는 문구들이 사실은 도덕적 지뢰밭과 같다"고 말했다.
JD 밴스 부통령은 그날 오전에 기조연설을 했다. 행정부의 입장은 분명했다.
두 번째로, CNBC는 알트만이 전 직원 회의에서 오픈AI 직원들에게 "회사가 군이 자사 기술을 어떻게 사용할지 선택할 권리는 없다"고 말했다고 보도했습니다.
X명의 사용자가 Altman의 이전 게시물에 커뮤니티 메모를 추가했습니다.
독자들은 사람들이 알아두면 좋을 만한 배경 설명을 덧붙였습니다. "화요일 전체 직원 회의에서 OpenAI의 CEO인 샘 알트만은 회사가 군대의 기술 활용 방식을 결정할 권한이 없다고 말했습니다." 이는 샘 알트만이 이 게시글에서 주장하는 내용과 정반대입니다.
같은 날. 공개 게시물: 우리에게는 가이드라인과 원칙이 있습니다. 내부 회의: 우리는 선택할 수 없습니다.
한편, CBS 뉴스는 클로드(Claude)가 공급망 위험 지정에도 불구하고 이란을 포함한 여러 군사 작전에 계속 투입되었다고 보도했습니다. 블랙리스트 등재 조치는 효과가 없었던 것으로 보입니다. 해당 기술은 기밀 시스템에 너무 깊숙이 내장되어 있어 제거할 수 없었던 것입니다.
95%의 문제
전쟁 시뮬레이션에서 인공지능 모델은 95%의 확률로 전술 핵무기를 발사하기로 결정했습니다.
잠시 생각해 보세요.
GPT-5.2, Claude Sonnet 4, 그리고 제미니(Gemini) 3 Flash는 군사 충돌 시뮬레이션을 거쳤습니다. 시뮬레이션 시나리오의 95%에서 전술 핵무기를 사용했으며, 21개 게임 중 20개 게임에서 최소 한 개 이상의 모델이 핵무기를 발사했습니다.
미 국방부가 자율적으로 배치하고자 하는 기술이 바로 이것입니다.
고장 발생 양상은 문서화되어 있으며 일관성이 있습니다.
- 확전 편향. 모델들이 무작위로 실패하는 것이 아닙니다. 특정 방향, 즉 확전 방향으로 실패합니다. 브루킹스 연구소의 연구에 따르면 AI 군사 오류는 무작위적인 것이 아니라 체계적입니다. 패턴은 항상 동일합니다. 더 많은 무력을 더 빠르게 사용하는 것입니다.
- 환각. LLM은 높은 신뢰도로 허위 정보를 생성합니다. 이란 공습과 관련된 한 실험에서, AI는 조작된 정보를 의사 결정 과정에 입력했습니다. 시간적 압박 속에서 인간 운영자들은 조작된 정보와 실제 정보를 구분하지 못했습니다.
- 적대적 취약점. 이러한 시스템은 정교하게 조작된 입력값을 사용하여 제한 사항을 우회할 수 있습니다. 공격자는 외부에 있을 필요가 없습니다. 취약점은 모델 자체에 존재합니다.
이것들은 예외적인 경우가 아닙니다. 이것이 바로 오늘날 기술의 일반적인 작동 방식입니다.
이렇게 생각해 보세요. 우리는 이미 군사 환경에서 단순한 자율 시스템이 실패했을 때 어떤 일이 벌어지는지 목격했습니다.
2003년 패트리어트 미사일 시스템은 연합군 병사들을 오인 사격하여 사망에 이르게 했습니다. 아군인 영국 항공기를 적 미사일로 오인한 것입니다. 이 시스템은 규칙 기반이었고, 정해진 매개변수가 있었지만, 그럼에도 불구하고 오인 사격을 했습니다.
1988년, 미 해군 구축함 USS 빈센스는 이란항공 655편 여객기를 격추했습니다. 이 사고로 민간인 290명이 사망했습니다. 빈센스의 이지스 전투 시스템은 레이더 데이터를 기반으로 항공기를 잘못 식별했습니다. 승무원들은 시스템을 신뢰했기에 결정을 내릴 시간이 단 몇 초밖에 없었습니다.
그것들은 명확한 매개변수를 가진 규칙 기반 시스템이었습니다. LLM은 그보다 훨씬 더 복잡하고 불투명하며 예측하기 어렵습니다.
그리고 그들은 더 큰 결정을 내려야 하는 상황에 놓여 있습니다.
감독 문제가 발생합니다. AI가 기밀 네트워크 내부에 배포되면 외부 책임 추궁은 전문가들이 말하는 "거의 불가능"해집니다. 작전상의 압력으로 인해 제약이 약해지기 때문입니다. 오픈아이얼이 약속했던 현장 배치 엔지니어들이 일부 상호 작용을 관찰할 수는 있겠지만, 기밀 작전은 애초부터 정보 흐름을 제한하도록 설계되어 있습니다.
영어로 말하자면, 비밀을 지켜주는 벽은 감시를 막아주는 역할도 합니다.
미 국방부의 주장은 일리가 있다. 공정한 심리를 받을 자격이 있다.
우크라이나에서 사용된 드론과 같은 부분 자율 무기는 인명 피해를 줄여줍니다. 또한 소규모 병력이 대규모 병력에 맞서 방어할 수 있도록 해줍니다. 중국과 러시아는 완벽한 신뢰성을 확보하기 전에 자체 시스템을 배치하고 있습니다.
국방에 인공지능을 활용하지 않는 것은 역량 공백을 초래합니다. 적들은 이를 악용할 것입니다.
다리오 아모데이는 이를 직접적으로 인정했습니다.
"완전 자율 무기조차도 국가 방위에 매우 중요할 수 있습니다."
그가 반대한 것은 목적지가 아니라 일정이었다.
"오늘날 최첨단 AI 시스템은 신뢰성이 충분하지 않습니다."
그는 목표 달성에 필요한 연구 개발에 협력하겠다고 제안했지만, 국방부는 거절했다.
인공지능이 진정으로 뛰어난 능력을 발휘하는 분야인 "정보 보고서를 요약하는 것"과 "인공지능이 누가 살고 누가 죽을지 결정하는 것" 사이에는 분명한 격차가 존재합니다. 계약이나 수정안으로는 그 격차를 메울 수 없습니다. 오직 엔지니어링만이 그 격차를 해소할 수 있습니다.
그리고 엔지니어링 작업은 아직 끝나지 않았습니다.
미국 기업을 블랙리스트에 올리는 방법
공급망 위험. 좀 관료적인 용어처럼 들리지만, 사실은 비상 정지 스위치와 같은 역할을 합니다.
2018년 연방 조달 공급망 보안법(FASCSA)에 따라 "공급망 위험"으로 지정되면 정부 계약업체는 해당 업체와 거래할 수 없습니다. 국방부뿐만 아니라 연방 정부 계약을 원하는 모든 업체, 즉 정부 관련 사업 생태계에 속한 모든 공급업체, 하청업체, 파트너가 이에 해당합니다.
영어로 설명하자면, 당신은 연방 정부 공급망 전체에 있어 방사능 오염 물질이 되는 것입니다.
이 법은 외국의 위협에 대비하기 위해 만들어졌습니다. 화웨이의 5G 인프라, 카스퍼스키의 바이러스 백신 소프트웨어, 적대적인 정부와 연관된 것으로 알려진 기업들 등이 그 예입니다.
앤트로픽 이전에 목록에 오른 모든 회사에는 한 가지 공통점이 있었습니다. 바로 미국과 적대 관계에 있는 국가 출신이라는 점입니다.
앤트로픽은 샌프란시스코에 본사를 두고 있습니다.
미 국방부는 또한 냉전 시대에 제정된 전시 생산을 위해 공장을 징발하도록 하는 법률인 국방생산법을 위협했습니다. 제철소, 탄약 공장 등 전쟁에 필요한 물리적 기반 시설들이 여기에 포함됩니다.
미 국방부는 이를 이용해 한 소프트웨어 회사가 인공지능 챗봇에서 안전 기능을 제거하도록 강제하겠다고 위협했습니다.
법률 전문가들은 이러한 적용이 "의심스럽다"고 평가했습니다. 해당 법은 물리적 생산을 위해 만들어진 것이지 소프트웨어 제한을 위한 것이 아니라는 것입니다. 이를 이용해 기업이 인공지능의 안전성을 떨어뜨리 도록 강제하는 것은 최소한 새로운 법률 이론을 제시하는 셈입니다.
아모데이는 그의 진술에 있는 논리적 문제를 다음과 같이 지적했습니다.
"이러한 위협은 본질적으로 모순됩니다. 하나는 우리를 안보 위험 인물로 규정하고, 다른 하나는 클로드를 국가 안보에 필수적인 인물로 규정합니다."
공급망에 위협이 되는 기술이라고 주장 하면서 동시에 그 기술 없이는 운영이 불가능하다는 이유로 비상 권한을 발동해 해당 기술을 압수할 수는 없습니다. 둘 중 하나를 선택하세요.
실질적인 결과는 많은 것을 시사합니다. CBS 뉴스는 클로드(Claude)가 블랙리스트에 올랐음에도 불구하고 여전히 군사적으로 사용되고 있다고 보도했습니다. 이러한 지정은 실질적인 이유 때문이 아니라 징벌적인 목적이었으며, 해당 기술은 너무 깊숙이 자리 잡아서 제거하기가 불가능했습니다.
이는 워싱턴의 누구도 대답하려 들지 않는 질문을 제기합니다. 국방부가 공식적으로 블랙리스트에 올린 기술에 대한 제거 명령을 강제할 수 없다면, 사용 제한 조치는 어떻게 시행할 것인가?
미 국방부의 입장은 명확합니다. 민간 기업이 군사 정책을 결정하는 것이 아닙니다. AI 기업들은 공급업체일 뿐입니다. 군대가 자신들의 도구를 어떻게 사용할지 결정합니다.
이러한 관점에서 볼 때, 앤트로픽은 주문받은 제품을 납품하지 않은 공급업체였습니다. 고객은 다른 공급업체를 찾았습니다.
그러한 틀은 내부적으로 일관성이 있습니다. 또한 사무용품에 사용하는 틀과도 같습니다. 시뮬레이션의 95%에서 핵 확전을 선택한 기술에 사용하는 틀과는 전혀 맞지 않습니다.
안전 난간은 진짜인가요?
금요일에는 오픈AI의 계약에 안전장치가 마련되어 있었지만, 월요일에는 더 많은 안전장치가 필요하게 되었습니다.
그건 금요일 안전장치에 대해 뭔가 말해주는 거죠.
월요일 수정안에서 알트만이 동의한 문구는 자세히 살펴볼 가치가 있습니다.
“인공지능 시스템은 미국 시민 및 국민에 대한 국내 감시 목적으로 의도적으로 사용되어서는 안 됩니다.”
핵심을 짚는 단어는 바로 '의도적으로'입니다.
인공지능이 우연히 미국인이 포함된 데이터셋을 처리하면 어떻게 될까요? 감시가 명시된 목표가 아니라 더 광범위한 정보 작전의 부산물이라면 어떨까요? 감시 메커니즘이 애초에 제한적인 기밀 네트워크 내부에서 누가 의도를 정의할까요?
상업적으로 취득한 데이터 조항은 더욱 의미심장합니다. 월요일에 통과된 수정안은 구매한 개인 데이터(위치 추적, 인터넷 검색 기록, 금융 기록 등)를 미국인 감시 목적으로 사용하는 것을 명시적으로 금지하고 있습니다.
그 조항은 월요일에 추가되었습니다. 금요일 계약에는 포함되지 않았습니다.
오픈AI와 미 국방부의 계약 덕분에 주말 내내 미국 시민들에 대한 상업적으로 구매한 데이터를 통한 대규모 감시가 사실상 허용되었습니다.
알트만도 이를 인정했다.
"금요일에 이걸 서둘러 발표하지 말았어야 했어요."
NSA 관련 예외 조항도 살펴볼 가치가 있습니다. NSA와 같은 정보 기관은 계약에 "후속 수정"을 하지 않으면 OpenAI 시스템을 사용할 수 없습니다. 이는 금지처럼 들리지만, 실제로는 하나의 절차입니다. 접근 권한을 부여하는 메커니즘이 계약 구조에 포함되어 있습니다.
저건 벽이 아니야. 다른 열쇠가 필요한 문이야.
더 근본적인 문제는 모든 구성원이 모순적인 태도를 보인다는 점입니다. 알트먼은 X에 대한 원칙과 가이드라인을 게시한 바로 그날, 직원들에게 OpenAI가 "군이 자사 기술을 어떻게 사용할지 결정할 권한은 없다"고 말했습니다.
인공지능을 개발한 회사가 그 사용 방식을 선택할 수 없다면, 안전장치는 정책이 아니라 보도자료에 불과할 것입니다.
기밀 환경에서 AI를 모니터링하는 것은 클라우드 서비스를 모니터링하는 것과는 근본적으로 다릅니다. 군사 기밀을 보호하는 보안 체계는 AI 행동에 대한 독립적인 감시 또한 차단합니다.
현장에 파견된 엔지니어는 일부 상호 작용을 관찰할 수 있습니다. 하지만 "일부 상호 작용"과 "계약에 포함된 모든 상호 작용"은 완전히 다른 개념입니다.
다음에는 무엇이 올까요?
시장의 반응이 나타났습니다. 협력하면 계약을 따낼 수 있고, 저항하면 블랙리스트에 오릅니다.
대중의 반응도 나타났습니다. 그들은 앱을 삭제하고 있습니다.
인센티브 구조는 명확합니다. OpenAI는 협력하여 계약을 성사시켰고, Anthropic은 저항하다가 공급망 위험 기업으로 지정되었습니다. 이는 정부가 외국 적대 세력과 연계된 기업에 사용하는 것과 동일한 명칭입니다.
A16Z 정상회담에서 카프는 3년 안에 모든 AI 기업이 군대와 협력할 것이라고 예측했습니다. 하지만 현재 제공되는 인센티브를 고려하면, 이는 예측이라기보다는 하나의 설명에 가깝습니다.
하지만 반발 여론 수치는 다른 이야기를 들려줍니다.
앱 삭제율이 295% 급증했다. 클로드(Claude)는 7개국에서 1위를 차지했다. 500명이 넘는 IT 업계 종사자들이 고용주를 배신하고 회사에 복귀했다. 르몽드는 파리에서 정부의 과도한 개입을 비판하는 사설을 게재했다. 여론조사에 따르면 영국 시민의 84%가 정부와 기업의 AI 협력에 대해 우려하고 있다.
이러한 시스템을 개발하는 엔지니어들과 사용자들은 국방부가 분명히 간과하고 있는 점을 보고 있습니다. 바로 국가 방위를 지원하는 것과 신뢰할 수 없는 자율 살상 기술을 배치하는 것은 전혀 다른 문제라는 것입니다.
어떤 계약 수정도 이 격차를 해소할 수 없습니다. 어떤 안전장치도, 어떤 현장 엔지니어도 이 격차를 메울 수 없습니다.
AI 모델은 모의 전쟁의 95%에서 핵무기 사용을 선택했습니다. "아직 기술이 준비되지 않았다"고 말한 회사는 블랙리스트에 올랐습니다. "예"라고 답한 회사는 72시간 안에 부주의했음을 인정했습니다. 두 회사의 의사와 상관없이 해당 기술은 여전히 실제 작전에 사용되고 있습니다.
아모데이는 자율 인공지능 무기를 안전하고 신뢰할 수 있도록 만드는 연구 개발을 제안했고, 이를 위해 미 국방부와 협력하겠다고 제안했습니다. 하지만 이 제안은 거절당했습니다.
앤스로픽은 2억 달러 규모의 계약을 맺었고 국방부의 신뢰를 얻었습니다. 그런데 국방부는 그들의 기술이 어떻게 사용되고 있는지 물었습니다.
그 답은 시한 설정, 블랙리스트 등재, 그리고 이전에는 미국의 적대 세력에게만 사용되던 낙인이었습니다.
시뮬레이션은 계속 실행됩니다. 그중 95%에서 누군가가 버튼을 누릅니다.
