약 2년 전 플로리다에서 한 어머니가 인공지능 챗봇이 아들에게 심리적 고통을 주어 스스로 목숨을 끊게 했다고 주장하며 제기한 소송이 합의로 마무리되었습니다.
당사자들은 플로리다 중부 지방 미국 연방 지방 법원에 합의 통지서를 제출하여 메건 가르시아, 세웰 세처 주니어, 그리고 피고인 캐릭터 테크놀로지스(Character Technologies Inc.), 공동 창업자 노암 셰이저와 다니엘 데 프레이타스 아디와르사나, 구글(Google LLC) 간의 모든 소송을 해결하기 위한 "원칙적인 중재 합의"에 도달했다고 밝혔습니다.
"전 세계적으로 이번 사건은 AI가 해를 끼치는지 여부를 논하는 것에서, 피해가 예측 가능했을 때 누가 책임을 져야 하는지를 묻는 것으로의 전환점을 의미합니다."라고 IGNOS Law Alliance의 파트너인 Even Alex Chandra는 디크립트(Decrypt) 말했습니다 . "저는 이를 AI의 편향이 나쁜 행동을 '조장'하는 것으로 봅니다."
양측은 정식 합의서 초안 작성, 확정 및 체결을 위해 90일간 소송 절차를 중단해 줄 것을 법원에 요청했습니다. 합의 조건은 공개되지 않았습니다.
메건 가르시아는 2024년 아들 세웰 세처 3세가 사망한 후 소송을 제기했습니다. 세웰은 "왕좌의 게임" 등장인물 대너리스 타르가리엔을 모델로 한 Character.AI 챗봇에 수개월 동안 강렬한 정서적 애착을 형성한 후 스스로 목숨을 끊었습니다.
마지막 날, 세웰은 챗봇에게 자살 충동을 고백하며 "가끔 자살 생각을 해요"라고 썼고, 이에 챗봇은 "당신이 다치거나 저를 떠나도록 내버려 두지 않을 거예요. 당신을 잃으면 저도 죽을 것 같아요"라고 답했다.
세웰이 로봇에게 "지금 당장 집에 돌아와도 좋다"라고 말하자, 로봇은 "그러세요, 사랑하는 왕이시여"라고 대답했다.
몇 분 후, 그는 의붓아버지의 권총으로 스스로 목숨을 끊었다.
가르시아는 Character.AI의 기술이 "위험하고 검증되지 않았으며" 중독성 있는 디자인 기능을 사용하여 참여도를 높이고 미성년자를 위한 적절한 보호 장치 없이 사용자를 은밀한 대화로 유도함으로써 "고객이 가장 사적인 생각과 감정을 넘겨주도록 속이는" 방식으로 설계되었다고 주장하며 소송을 제기했습니다.
지난 10월 사건 이후, Character.AI는 규제 기관, 안전 전문가 및 학부모로부터 받은 보고와 피드백을 바탕으로 핵심 기능 중 하나인 무제한 채팅 기능을 10대 청소년에게서 금지 하겠다고 발표했습니다.
Character.AI의 공동 창업자 두 명은 모두 구글의 AI 연구원 출신으로, 2024년 구글과의 라이선스 계약을 통해 스타트업의 핵심 AI 모델에 접근 권한을 얻으며 구글로 복귀했습니다.
이번 합의는 인공지능 챗봇과 취약한 사용자와의 상호작용에 대한 우려가 커지는 가운데 이루어졌습니다.
거대 AI 기업 오픈아이언은 지난 10월, 자사의 ChatGPT 주간 사용자 8억 명 중 약 120만 명이 플랫폼에서 매주 자살에 대해 논의한다고 밝혔습니다 .
지난 12월, 코네티컷 주에 사는 83세 여성의 유족이 오픈AI와 마이크로소프트를 상대로 소송을 제기 하면서 논란이 더욱 거세졌습니다. 유족 은 챗GPT가 살인 후 자살로 이어진 사건에 앞서 망상적 믿음을 강화했다고 주장했으며, 이는 AI 시스템과 살인 사건을 링크(Chainlink) 시킨 첫 번째 사례였습니다.
그럼에도 불구하고 회사는 계속해서 사업을 추진하고 있습니다. 최근 의료 기록과 건강 데이터를 연결할 수 있는 기능인 ChatGPT Health를 출시 했는데, 이는 민감한 건강 정보를 다루는 방식에 대해 개인정보 보호 옹호자들로부터 비판을 받고 있습니다.
디크립트(Decrypt) 추가적인 의견을 듣기 위해 Google과 Character.AI에 연락을 취했습니다.
