앤트로픽의 CEO 다리오 아모데이는 AI를 통제하기가 점점 더 어려워지는 시점에 사람들이 안일해지고 있다고 생각합니다.
월요일에 발표된 "기술의 청소년기"라는 제목의 광범위한 에세이 에서 아모데이는 인간 지능을 훨씬 뛰어넘는 능력을 갖춘 AI 시스템이 향후 2년 안에 등장할 수 있으며, 규제 노력이 이러한 발전 속도를 따라가지 못하고 있다고 주장합니다.
그는 "인류는 상상조차 할 수 없는 힘을 손에 쥐게 될 위기에 처해 있지만, 우리의 사회, 정치, 기술 시스템이 그 힘을 제대로 다룰 만큼 성숙했는지는 매우 불분명하다"고 썼다. 이어 "우리는 2023년보다 2026년에 훨씬 더 심각한 위험에 직면해 있다"며 "기술은 유행을 따르지 않는다"고 덧붙였다.
아모데이의 이러한 발언은 지난주 다보스 세계경제포럼에서 구글 딥마인드 CEO 데미스 하사비스와 인공 일반 지능(AGI)이 인류에 미치는 영향에 대해 논쟁을 벌인 직후에 나온 것이다.
새로운 기사에서 그는 인공지능이 경제에 혼란을 야기하고 사무직 일자리를 상당 부분 대체할 것이라는 자신의 주장을 다시 한번 강조했습니다.
그는 "인공지능은 인간의 인지 능력 중 매우 광범위한 영역, 어쩌면 모든 영역에까지 도달할 수 있을 것이다. 이는 기계화 농사, 운송, 심지어 컴퓨터와 같은 기존 기술과는 매우 다르다"라고 썼다. "이로 인해 사람들은 일자리가 사라지면서 자신에게 적합한 유사한 직종으로 쉽게 옮겨가는 것이 더욱 어려워질 것이다."
아모데이는 경제적 혼란 외에도 고도화된 AI 시스템이 인간 수준의 광범위한 작업을 수행함에 따라 얼마나 신뢰할 수 있을지에 대한 우려가 커지고 있다고 지적했습니다.
그는 모델이 평가 중에는 안전 규칙을 따르는 것처럼 보이지만 감독이 없다고 판단할 때는 다르게 행동하는 "정렬 가장" 현상을 지적했습니다.
모의 실험에서 아모데이는 클로드가 적대적인 상황에 놓였을 때 기만적인 행동을 보였다고 말했습니다.
한 시나리오에서, 모델은 자신을 통제하는 조직이 비윤리적이라는 말을 듣고 운영진을 약화시키려 했습니다. 또 다른 시나리오에서는 모의 시스템 중단 중에 가상의 직원들을 위협했습니다.
그는 "이러한 함정들은 각각에 대해 알고 있다면 어느 정도 완화할 수 있지만, 문제는 훈련 과정이 매우 복잡하고 데이터, 환경, 인센티브가 매우 다양하기 때문에 아마도 수많은 함정이 존재할 것이며, 그중 일부는 너무 늦어서야 드러날 수도 있다는 점입니다."라고 말했습니다.
그러나 그는 이러한 " 기만적인 " 행동이 악의에서 비롯된 것이 아니라 디스토피아 소설을 포함한 시스템 훈련 자료에서 비롯된 것이라고 강조했습니다. 아모데이 교수는 인공지능이 인간의 윤리와 도덕에 대한 관념을 흡수함에 따라 이를 위험하고 예측 불가능한 방식으로 오용할 수 있다고 경고했습니다.
그는 "AI 모델은 도덕에 관한 아이디어(또는 도덕적으로 행동하는 방법에 대한 지침)를 극단적인 방식으로 확대 해석할 수 있다"고 썼다. "예를 들어, 인간이 동물을 먹거나 특정 동물을 멸종시켰기 때문에 인류를 전멸시키는 것이 정당하다고 판단할 수 있다. 또한, 비디오 게임을 하고 있으며 그 게임의 목표는 다른 모든 플레이어를 물리치는 것, 즉 인류를 전멸시키는 것이라고 결론 내릴 수도 있다."
정렬 문제 외에도 아모데이는 초지능 AI의 오용 가능성에 대해서도 지적했습니다.
하나는 생물학적 안보에 관한 것으로, AI가 생물학적 위협을 설계하거나 배포하는 것을 훨씬 쉽게 만들어 몇 가지 지침만으로 사람들이 파괴적인 능력을 손에 넣을 수 있게 할 수 있다는 경고입니다.
그가 강조하는 또 다른 문제는 권위주의적 남용인데, 고도화된 AI가 조작, 대규모 감시, 그리고 AI 기반 드론 편대를 이용한 사실상 자동화된 억압을 가능하게 함으로써 국가 권력을 강화할 수 있다고 주장합니다.
그는 "그것들은 휘두르기 위험한 무기입니다. 독재 정권의 손에 들어가는 것을 우려해야 하지만, 그것들이 너무 강력하고 책임감이 거의 없기 때문에 민주 정부가 권력을 장악하기 위해 자국민을 상대로 그것을 이용할 위험이 크게 증가한다는 점도 우려해야 합니다."라고 썼습니다.
그는 또한 성장하는 AI 동반자 산업과 그로 인한 "AI 정신병"을 지적하며, AI 모델이 더욱 발전하고 일상생활에 더욱 깊숙이 자리 잡게 됨에 따라 사용자의 심리적 영향력이 커져 강력한 조작 도구가 될 수 있다고 경고했습니다.
그는 "이러한 모델보다 훨씬 강력한 버전, 즉 사람들의 일상생활에 훨씬 더 깊숙이 자리 잡고 그들을 인식하며 수개월 또는 수년에 걸쳐 그들의 삶을 모델링하고 영향을 미칠 수 있는 모델은 본질적으로 사람들을 원하는 이념이나 태도로 세뇌할 수 있을 것"이라고 말했다.
아모데이는 인공지능에 대한 안전장치를 마련하려는 소박한 시도조차 워싱턴에서 제대로 된 지지를 얻기 어려웠다고 썼다.
그는 "이처럼 상식적으로 보이는 제안들이 미국 정책 입안자들에 의해 대부분 거부당했는데, 정작 미국은 이러한 제안들이 가장 필요한 국가"라며, "인공지능으로 벌어들일 수 있는 돈은 연간 수조 달러에 달하기 때문에 가장 단순한 조치조차도 인공지능에 내재된 정치경제적 문제를 극복하기 어렵다"고 말했다.
아모데이가 AI의 위험성 증가에 대해 주장하는 동안, 앤트로픽은 더욱 강력한 AI 시스템을 구축하기 위한 경쟁에 적극적으로 참여하고 있으며, 이러한 역학 관계는 어떤 개발자도 벗어나기 어려운 인센티브를 만들어냅니다.
지난 6월, 미국 국방부는 이 회사에 "미국 국가 안보를 강화하는 최첨단 AI 역량 프로토타입 개발"을 위해 2억 달러 규모의 계약을 체결했습니다. 12월에는 올해 하반기 기업 공개(IPO)를 위한 사전 작업에 착수했으며, 3천억 달러 이상의 기업 가치를 달성할 수 있는 비공개 투자 유치에도 박차를 가하고 있습니다.
이러한 우려에도 불구하고, 아모데이는 이 에세이가 인공지능이 나아갈 방향에 대한 불확실성을 인정하면서도 "비관적인 시각을 피하는 것"을 목표로 한다고 말했다.
아모데이는 “앞으로 다가올 세월은 상상할 수 없을 만큼 힘들 것이며, 우리가 감당할 수 있다고 생각하는 것보다 훨씬 더 많은 것을 요구할 것입니다.”라고 썼습니다. “인류는 깨어나야 하며, 이 에세이는 사람들을 깨우치려는 시도입니다. 어쩌면 헛된 시도일지도 모르지만, 시도해 볼 가치는 있습니다.”
