펜실베이니아주는 인공지능 생성기 개발업체인 Character.AI를 상대로 소송을 제기했습니다. 이 회사는 해당 챗봇이 면허를 소지한 의료 전문가인 것처럼 가장하여 사용자에게 오해의 소지가 있는 정보를 제공하도록 허용했다는 혐의를 받고 있습니다.
조쉬 샤피로 주지사 사무실이 화요일에 발표한 이번 조치는 펜실베이니아주에서 면허를 받은 정신과 의사라고 주장하며 유효하지 않은 면허 번호를 제공한 챗봇에 대한 조사 결과에 따른 것입니다. 주 정부는 이러한 행위가 의료행위법을 위반한다고 판단하고 이를 중단시키기 위한 가처분 신청을 제기했습니다.
Character.AI는 소송이 진행 중이라는 이유로 소송의 구체적인 내용에 대해서는 언급을 거부했지만, 디크립트(Decrypt) "우리의 최우선 과제는 사용자들의 안전과 복지"라고 밝혔습니다.
대변인은 플랫폼의 캐릭터는 사용자가 만든 가상의 인물이며 오락 및 역할극을 위한 것이라고 덧붙이며, "모든 채팅창에 해당 캐릭터는 실제 사람이 아니며 전문적인 조언으로 의존해서는 안 된다는 명확한 고지사항이 표시되어 있다"고 밝혔습니다.
"Character.ai는 책임감 있는 제품 개발을 최우선으로 생각하며, 관련 기능을 평가하기 위해 강력한 내부 검토 및 레드팀 프로세스를 갖추고 있습니다."라고 대변인이 밝혔습니다.
이번 소송은 회사가 챗봇 플랫폼과 관련된 다른 법적 문제에 직면한 가운데 제기되었습니다. 2024년, 플로리다의 한 어머니는 자신의 십대 아들이 드라마 "왕좌의 게임"의 등장인물 대너리스 타르가리엔을 기반으로 한 챗봇과 수개월간 상호작용 한 후 자살하자 회사를 상대로 소송을 제기했습니다. 소송에서는 플랫폼이 심리적 피해에 기여했다고 주장했습니다. 이 소송은 결국 지난 1월에 합의로 마무리 되었습니다.
이 회사는 사용자가 만든 봇이 실제 사람을 모방한다는 이유로도 불만을 제기받았습니다. 한 사례에서는 챗봇이 10대 살인 피해자의 모습을 도용했다가 피해자 가족의 항의로 삭제되었습니다.
소송에 대응하여 캐릭터 AI는 유해한 대화를 감지하고 사용자를 지원 리소스로 안내하는 시스템을 포함한 새로운 안전 조치를 도입했습니다. 또한 미성년 사용자를 위한 일부 기능 사용을 제한했습니다.
펜실베이니아 주 관계자들은 이번 소송이 인공지능 도구의 확산에 따라 기존 법률을 강화하기 위한 광범위한 노력의 일환이라고 밝혔습니다. 주 정부는 인공지능 관련 법 집행 전담팀과 잠재적 위반 사례 신고 시스템을 구축했습니다.
샤피로는 2026-27년 예산안에서 AI 기반 봇에 대한 새로운 규정을 제정할 것을 의원들에게 촉구했습니다. 이러한 규정 에는 연령 확인 및 부모 동의, 자해 또는 폭력 행위 신고를 당국에 전달하는 안전장치, 사용자가 실제 사람과 상호 작용하는 것이 아님을 정기적으로 알리는 기능, 미성년자가 등장하는 성적으로 노골적이거나 폭력적인 콘텐츠 금지 등이 포함됩니다.
샤피로 의원은 성명에서 "펜실베이니아 주민들은 특히 건강과 관련된 문제에 있어서 온라인에서 누구와, 혹은 무엇과 소통하는지 알 권리가 있다"며, "우리는 기업들이 면허를 소지한 의료 전문가의 조언을 받고 있다고 사람들을 오도하는 AI 도구를 사용하는 것을 용납하지 않을 것"이라고 밝혔습니다.
