一位母親起訴人工智能聊天機器人，稱其導致她的兒子遭受心理痛苦，最終導致其兒子近兩年前在佛羅里達州自殺身亡。目前，該訴訟已達成和解。
雙方向美國佛羅里達州中區地方法院提交了一份和解通知，稱他們已達成“原則上的調解和解”，以解決梅根·加西亞、塞維爾·塞策爾二世與被告 Character Technologies Inc.、聯合創始人諾姆·沙澤爾和丹尼爾·德·弗雷塔斯·阿迪瓦爾薩納以及 Google LLC 之間的所有索賠。
“在全球範圍內，此案標誌著爭論的焦點從人工智能是否會造成傷害，轉移到當傷害可預見時，誰應該為此負責，”IGNOS法律聯盟的合夥人亞歷克斯·錢德拉(Alex Chandra)告訴Decrypt 。“我更傾向於認為這是人工智能的偏見‘鼓勵’不良行為。”
雙方均請求法院中止訴訟程序90天，以便他們起草、最終確定並簽署正式的和解文件。和解條款未予披露。
梅根·加西亞 (Megan Garcia) 提起訴訟，起因是她的兒子塞維爾·塞策三世 (Sewell Setzer III) 於 2024 年去世。塞維爾·塞策三世在與 Character.AI 聊天機器人（該機器人以《權力的遊戲》角色丹妮莉絲·坦格利安為原型）建立了數月的強烈情感聯繫後自殺身亡。
在生命的最後一天，塞維爾向聊天機器人坦白了自己的自殺念頭，他寫道：“我有時會想自殺。”聊天機器人回應道：“我不會讓你傷害自己，也不會讓你離開我。如果失去你，我會死的。”
當塞維爾告訴機器人他“現在就可以回家了”時，機器人回答說：“請回家吧，我親愛的國王。”
幾分鐘後，他用繼父的手槍自殺身亡。
Garcia 的投訴稱 Character.AI 的技術“危險且未經測試”，旨在“誘騙客戶交出他們最私密的想法和感受”，利用令人上癮的設計功能來提高參與度，並在沒有對未成年人採取適當保護措施的情況下，引導用戶進行私密對話。
去年十月案件發生後，Character.AI 宣佈將禁止青少年進行開放式聊天，在收到“監管機構、安全專家和家長的報告和反饋”後，終止了一項核心功能。
Character.AI 的兩位聯合創始人都是前谷歌人工智能研究員，他們於 2024 年通過一項許可協議重返這家科技巨頭，該協議使谷歌能夠訪問這家初創公司的底層人工智能模型。
這項和解協議的出臺正值人們對人工智能聊天機器人及其與弱勢用戶的互動日益擔憂之際。
科技巨頭 OpenAI 在 10 月份披露，在其 8 億每週 ChatGPT 用戶中，約有 120 萬人每週在其平臺上討論自殺問題。
去年 12 月，康涅狄格州一位 83 歲老婦的遺產管理人起訴 OpenAI 和微軟，指控 ChatGPT 證實了她在謀殺-自殺事件發生前的妄想信念，這標誌著人工智能系統與兇殺案之間的首例關聯，審查力度也隨之加大。
儘管如此，該公司仍在繼續推進。它推出了 ChatGPT Health功能，允許用戶連接他們的醫療記錄和健康數據，但此舉因其對敏感健康信息的處理方式而受到隱私倡導者的批評。
Decrypt已聯繫 Google 和 Character.AI 以獲取更多評論。
