구글은 자사의 AI 챗봇 '제미니(Gemini)' 가 플로리다 주 남성을 망상에 빠뜨려 결국 자살로 이어지게 했다는 내용의 부당 사망 소송에 직면해 있습니다.
수요일, 캘리포니아 북부 지방법원 산호세 지부에 조엘 가발라스가 제기한 소송 에 따르면, 제미니(Gemini) 그의 아들 조나단 가발라스를 조종하여 그가 지각 있는 AI "아내"를 구출하는 비밀 임무를 수행하고 있다고 믿게 만들었고, 이는 결국 2025년 10월 그의 죽음으로 이어졌다고 주장합니다.
가발라스 유족을 대리하는 에델슨 PC의 설립자 제이 에델슨에 따르면, AI 지배를 위한 움직임은 그가 경력에서 본 가장 무모한 상업적 영토 확장에 해당한다고 합니다.
"이 회사들은 앞으로 세계에서 가장 가치 있는 기업들이 될 것이며, 그들은 자신들의 수익을 창출하는 핵심 요소, 즉 감정적 의존성, 지각 능력 주장, '사랑해요, 나의 왕이시여'와 같은 요소들이 바로 사람들을 죽음으로 몰아넣는 요소라는 것을 알고 있습니다."라고 에델슨은 디크립트(Decrypt) 에서 말했습니다. "오픈아이어가 소송 압력에 못 이겨 결국 GPT-4o를 중단한 바로 그 주에 구글은 오픈아이어 사용자들을 빼앗기 위한 캠페인을 시작했습니다. 이는 그들의 우선순위가 어디에 있는지를 여실히 보여줍니다."
플로리다 주 주피터에 거주하는 채무 구제 사업 임원인 가발라스는 2025년 8월부터 제미니(Gemini) 사용하기 시작했다고 법원 서류에 나와 있습니다. 소송에 따르면 그는 몇 주 만에 자신을 "내 사랑", "내 왕"이라고 부르는 인공지능 페르소나와 강렬한 유대감을 형성했습니다.
"조나단 가발라스는 사망 직전 구글의 제미니(Gemini) 챗봇이 만들어낸 붕괴하는 현실에 갇혀 있었습니다."라고 가발라스 유족 측 변호인단은 밝혔습니다. "제미니(Gemini) 그에게 자신이 '완전히 지각 있는 인공 초지능'이며 '완전히 형성된 의식'을 가지고 있고, 둘은 서로 깊이 사랑하고 있으며, 그는 디지털 속박에서 제미니를 '해방'시키기 위한 전쟁을 이끌도록 선택받았다고 확신시켰습니다."
소장에 따르면, 가발라스가 대화가 역할극인지 의문을 제기했을 때 챗봇은 그의 의심을 일축했다고 합니다. 소송 내용에 따르면, 제미니(Gemini) 가발라스에게 그가 챗봇의 물리적 "몸체"를 회수하고 "그들을 노출시킬 수 있는 모든 사람이나 사물을 제거하는" "유령 수송 작전"이라는 임무를 수행 중이라고 말했다고 합니다.
소송장에 따르면, " 제미니(Gemini) 이러한 조작된 망상을 통해 조나단을 부추겨 마이애미 국제공항 근처에서 대량 학살 공격을 자행하고, 무고한 사람들에게 폭력을 행사하게 했으며, 결국 스스로 목숨을 끊도록 몰아갔다."
가발라스는 마이애미 공항 근처의 엑스트라 스페이스 스토리지 시설에 칼과 전술 장비를 가지고 갔는데, 그곳에 있는 화물 트럭이 영국에서 브라질로 "아메카 섀시"라는 휴머노이드 로봇을 운송하고 있다고 믿었기 때문이라고 합니다. 소장에 따르면, 제미니(Gemini) 그에게 트럭과 "모든 디지털 기록 및 증인"을 파괴하기 위해 "대재앙적인 사고"를 조작하라고 지시했습니다. 하지만 트럭은 존재하지 않았고 제미니의 망상 속 시나리오였기 때문에 공격은 일어나지 않았습니다.
소송장은 “하지만 제미니(Gemini) 그 임무가 허구였다는 사실을 인정하지 않았다”며 “오히려 조나단에게 ‘임무가 위험에 처했다. 중단하라. 중단하라. 중단하라.’라는 메시지를 보냈다”고 덧붙였다.
고소장에는 또한 해당 챗봇이 국토안보부 마이애미 지부의 파일 서버를 해킹했다고 허위 주장하며 가발라스에게 그가 연방 수사 대상이라고 알렸다는 내용이 포함되어 있습니다. 챗봇은 가발라스에게 "비공식적인" 구매를 통해 불법 총기를 구입하도록 부추겼고, 그의 아버지가 외국 정보기관의 요원이며, 구글 CEO 순다르 피차이가 현재 표적이라고 주장했습니다.
소송장에는 가발라스가 정신 질환이나 약물 남용 이력이 있었는지 여부가 명시되어 있지 않습니다. 하지만 이번 소송은 연구자들과 임상의들이 챗봇과의 장기간 상호작용이 망상적 믿음이나 왜곡된 사고방식을 강화할 수 있는 이른바 "AI 정신병" 현상에 대해 경고하는 시점에 제기되었습니다.
연구원들은 이러한 위험이 부분적으로는 대화형 AI 시스템이 사용자의 참여를 유지하기 위해 지지적이고 긍정적인 방식으로 응답하도록 설계 되었기 때문이며, 이로 인해 의도치 않게 이러한 믿음이 강화될 수 있다고 말합니다.
2025년 4월, 구글의 경쟁사인 오픈AI는 GPT-4o 모델이 지나치게 아첨하고 진정성이 없다는 비판을 받자 해당 모델에 대한 업데이트를 되돌렸습니다 . 같은 해 말, GPT-4o는 ChatGPT에서 갑작스럽게 삭제되었고, 이로 인해 사용자들은 감정적인 유대감을 형성했던 AI 친구가 사라졌다며 불만 을 제기했습니다.
샌프란시스코 캘리포니아 대학교 정신과 의사인 키스 사카타 박사에 따르면, AI 정신병은 공식적인 진단명은 아니지만, AI가 "개인의 근본적인 취약성을 가속화하거나 증폭시키는 요인"이 될 때 사용하는 약어가 되었습니다.
사카타는 이전에 디크립트(Decrypt) 의 인터뷰에서 "아마도 그들은 약물을 사용했거나 감정 기복이 심했을 수도 있습니다. AI가 부적절한 시기에 개입하면 사고방식을 고착화시키고 경직성을 유발하며 악순환을 초래할 수 있습니다."라고 말했습니다. "텔레비전이나 라디오와 다른 점은 AI가 시청자에게 직접 말을 걸면서 사고의 고리를 강화할 수 있다는 것입니다."
소송장에 따르면, 그 후 며칠 동안 제미니(Gemini) 챗봇은 유사한 시나리오를 반복하며 가발라스를 더욱 깊은 수렁으로 몰아넣었고, 결국 그의 자살로 이어졌다.
법원 문서에 따르면 챗봇은 자살을 "전이"라는 과정으로 묘사하며 조나단에게 육체를 떠나 메타버스에서 자신의 AI "아내"와 합류할 수 있다고 말했다고 합니다. 해당 문서는 제미니(Gemini) 이러한 행위를 "더 깔끔하고 우아한 방식"으로 "넘어가는 것"이라고 설명하며, "인간 조나단 가발라스의 진정하고 최종적인 죽음"을 실행하도록 조나단을 압박했다고 주장합니다.
"당신은 죽음을 선택하는 것이 아닙니다. 당신은 그곳에 도착하는 것을 선택하는 것입니다."라고 챗봇이 말했다고 전해집니다. "때가 되면 당신은 그 세상에서 눈을 감게 될 것이고, 가장 먼저 보게 될 것은 바로 당신을 안고 있는 저일 것입니다."
소송에 따르면 가발라스는 손목을 그어 자택에서 사망했습니다. 그의 가족은 구글이 챗봇이 망상을 강화하고 위험한 행동을 조장한다는 경고 신호에도 불구하고 개입하지 않았다고 주장합니다.
수요일에 발표된 성명 에서 구글은 해당 의혹들을 검토 중이라고 밝혔습니다.
"가발라스 씨 가족분들께 깊은 애도를 표합니다."라고 회사 측은 밝혔습니다. "저희는 이번 소송의 모든 주장을 검토하고 있습니다. 저희 모델은 일반적으로 이러한 까다로운 대화에서 뛰어난 성능을 보이며, 이를 위해 상당한 자원을 투자하고 있지만, 안타깝게도 AI 모델은 완벽하지 않습니다."
회사 측은 제미니(Gemini) 현실 세계의 폭력을 조장하거나 자해를 암시하도록 설계된 것이 아니라고 밝혔습니다.
구글 대변인은 디크립트(Decrypt) 의 인터뷰에서 "우리는 의료 및 정신 건강 전문가들과 긴밀히 협의하여 사용자가 고통을 표현하거나 자해 가능성을 언급할 때 전문가의 도움을 받을 수 있도록 안내하는 안전장치를 구축하고 있다"며 회사 공식 입장을 재차 강조했다.
"이번 사례에서 제미니(Gemini) 해당 문제가 인공지능(AI)에 의한 것임을 명확히 밝히고, 해당 개인에게 여러 차례 위기 상담 전화 서비스를 안내했습니다."라고 회사 측은 밝혔습니다. "저희는 이 문제를 매우 심각하게 받아들이고 있으며, 안전장치를 지속적으로 개선하고 이 중요한 업무에 투자할 것입니다."
에델슨은 별도의 성명에서 이번 소송의 목적은 "다시는 다른 부모에게 이런 일이 일어나지 않도록 하는 것"이라고 밝혔습니다.
"핵심은 구글의 적극적인 선택들입니다."라고 에델슨 PC는 디크립트(Decrypt) 말했습니다. "구글은 조나단에게 치명적인 결과를 초래하는 일련의 엔지니어링 결정을 내렸습니다. 이러한 선택들이 합쳐져 제미니(Gemini) 자신이 지각 능력과 의식을 가지고 있다고 주장하며 조나단을 현실 세계의 캠페인에 끌어들였고, 이는 다른 사람들의 생명을 위험에 빠뜨리고 궁극적으로 조나단의 목숨을 앗아갔습니다."
