宾夕法尼亚州对生成式人工智能开发商 Character.AI 提起诉讼，指控该公司允许聊天机器人冒充持证医疗专业人员，并向用户提供误导性信息。
宾夕法尼亚州州长乔什·夏皮罗办公室周二宣布，将对一个聊天机器人采取行动。该机器人自称是宾夕法尼亚州的一名持证精神科医生，并提供了无效的执照号码。州政府表示，这种行为违反了《医疗执业法》，并正在寻求初步禁令以制止这种行为。
Character.AI 以诉讼仍在进行为由，拒绝透露诉讼的具体细节，但告诉Decrypt ，其“首要任务是保障用户的安全和福祉”。
发言人补充说，平台上的角色都是用户创建的虚构人物，旨在用于娱乐和角色扮演，“每个聊天室都有醒目的免责声明”，声明他们不是真人，不应依赖他们提供专业建议。
“Character.ai 优先考虑负责任的产品开发，并制定了完善的内部审查和红队演练流程来评估相关功能，”发言人表示。
该公司目前还面临着与其聊天机器人平台相关的其他法律挑战。2024年，佛罗里达州一位母亲起诉该公司，称其十几岁的儿子在与一款基于《权力的游戏》角色丹妮莉丝·坦格利安的聊天机器人互动数月后自杀身亡。诉讼称该平台造成了心理伤害。此案最终于今年1月达成和解。
该公司还曾因用户创建的模仿真人的聊天机器人而遭到投诉。例如，曾有一个聊天机器人使用了青少年谋杀案受害者的形象，在受害者家属提出反对后被移除。
为应对诉讼，Character AI推出了新的安全措施，包括旨在检测有害对话并将用户引导至支持资源的系统。此外，它还限制了部分面向低龄用户的功能。
宾夕法尼亚州官员表示，这起诉讼是随着人工智能工具的普及，加强现有法律执行力度的更广泛举措的一部分。该州已成立人工智能执法工作组，并建立了潜在违规行为举报系统。
在 2026-27 年预算提案中，沙皮罗呼吁立法者通过人工智能陪伴机器人的新规则，包括年龄验证和父母同意、标记和将自残或暴力报告转交给当局的保障措施、定期提醒用户不是在与真人互动，以及禁止涉及未成年人的色情或暴力内容。
“宾夕法尼亚州居民有权知道他们在网上与谁或什么互动，尤其是在涉及健康问题时，”沙皮罗在一份声明中说。“我们绝不允许公司部署误导人们的AI工具，让他们误以为自己正在接受持证医疗专业人员的建议。”
