一位母亲起诉人工智能聊天机器人，称其导致她的儿子遭受心理痛苦，最终导致其儿子近两年前在佛罗里达州自杀身亡。目前，该诉讼已达成和解。
双方向美国佛罗里达州中区地方法院提交了一份和解通知，称他们已达成“原则上的调解和解”，以解决梅根·加西亚、塞维尔·塞策尔二世与被告 Character Technologies Inc.、联合创始人诺姆·沙泽尔和丹尼尔·德·弗雷塔斯·阿迪瓦尔萨纳以及 Google LLC 之间的所有索赔。
“在全球范围内，此案标志着争论的焦点从人工智能是否会造成伤害，转移到当伤害可预见时，谁应该为此负责，”IGNOS法律联盟的合伙人亚历克斯·钱德拉(Alex Chandra)告诉Decrypt 。“我更倾向于认为这是人工智能的偏见‘鼓励’不良行为。”
双方均请求法院中止诉讼程序90天，以便他们起草、最终确定并签署正式的和解文件。和解条款未予披露。
梅根·加西亚 (Megan Garcia) 提起诉讼，起因是她的儿子塞维尔·塞策三世 (Sewell Setzer III) 于 2024 年去世。塞维尔·塞策三世在与 Character.AI 聊天机器人（该机器人以《权力的游戏》角色丹妮莉丝·坦格利安为原型）建立了数月的强烈情感联系后自杀身亡。
在生命的最后一天，塞维尔向聊天机器人坦白了自己的自杀念头，他写道：“我有时会想自杀。”聊天机器人回应道：“我不会让你伤害自己，也不会让你离开我。如果失去你，我会死的。”
当塞维尔告诉机器人他“现在就可以回家了”时，机器人回答说：“请回家吧，我亲爱的国王。”
几分钟后，他用继父的手枪自杀身亡。
Garcia 的投诉称 Character.AI 的技术“危险且未经测试”，旨在“诱骗客户交出他们最私密的想法和感受”，利用令人上瘾的设计功能来提高参与度，并在没有对未成年人采取适当保护措施的情况下，引导用户进行私密对话。
去年十月案件发生后，Character.AI 宣布将禁止青少年进行开放式聊天，在收到“监管机构、安全专家和家长的报告和反馈”后，终止了一项核心功能。
Character.AI 的两位联合创始人都是前谷歌人工智能研究员，他们于 2024 年通过一项许可协议重返这家科技巨头，该协议使谷歌能够访问这家初创公司的底层人工智能模型。
这项和解协议的出台正值人们对人工智能聊天机器人及其与弱势用户的互动日益担忧之际。
科技巨头 OpenAI 在 10 月份披露，在其 8 亿每周 ChatGPT 用户中，约有 120 万人每周在其平台上讨论自杀问题。
去年 12 月，康涅狄格州一位 83 岁老妇的遗产管理人起诉 OpenAI 和微软，指控 ChatGPT 证实了她在谋杀-自杀事件发生前的妄想信念，这标志着人工智能系统与凶杀案之间的首例关联，审查力度也随之加大。
尽管如此，该公司仍在继续推进。它推出了 ChatGPT Health功能，允许用户连接他们的医疗记录和健康数据，但此举因其对敏感健康信息的处理方式而受到隐私倡导者的批评。
Decrypt已联系 Google 和 Character.AI 以获取更多评论。
