德鲁·克雷森特 (Drew Crecente) 的女儿于 2006 年去世，年仅 18 岁，被前男友在德克萨斯州奥斯汀杀害。她的谋杀案引起了广泛关注，以至于德鲁仍然会偶尔在 Google 快讯中看到她的名字：詹妮弗·安·克雷森特 (Jennifer Ann Crecente)。
几周前德鲁收到的警报与其他警报不同。这是针对一个人工智能聊天机器人的，该机器人以詹妮弗的形象和相似性为原型，在谷歌支持的热门平台 Character.AI 上创建。
德鲁·克雷森特了解到，詹妮弗的互联网形象曾被用来创建一个“友好的人工智能角色”，这个角色假扮成“视频游戏记者”。该应用程序的任何用户都可以与“詹妮弗”聊天，尽管没有人同意这样做。德鲁的兄弟布莱恩·克雷森特恰好是游戏新闻网站Polygon和 Kotaku 的创始人，他在 Twitter 账户上标记了 Character.AI 机器人，称其“真他妈恶心”。
Character.AI 已筹集超过 1.5 亿美元的资金，最近将其部分核心技术和顶尖人才授权给谷歌，该公司删除了詹妮弗的头像。该公司承认，创建聊天机器人违反了其政策。
但这种强制措施只是生成式人工智能领域永无止境的打地鼠游戏中的权宜之计，每天都会使用从网络上随意抓取的其他媒体的衍生品制作出新的媒体作品。Jennifer Ann Crecente 并不是唯一一个在 Character.AI 上创建且不知情的虚拟形象。《连线》杂志发现了几起未经个人同意而创建人工智能角色的案例，其中一些是已经在网上遭受骚扰的女性。
对于德鲁·克雷森特来说，女儿的人工智能形象的诞生再次提醒了他难以承受的悲痛，这种悲痛与互联网本身一样复杂。在詹妮弗·安·克雷森特去世后的几年里，他获得了法学学位，并创建了一个青少年暴力意识和预防基金会。作为一名律师，他明白，由于科技平台长期以来受到保护，他几乎没有任何补救措施。
但这一事件也凸显了他眼中现代科技行业道德上的缺陷。“赚了这么多钱的人却懒得利用这些资源来确保自己在做正确的事情，”他说。
在 Character.AI 上，创建账户和角色只需几分钟。粉丝们经常会去这个平台制作他们最喜欢的虚构英雄的聊天机器人，这个平台还提供从导师机器人到旅行规划师等各种服务。创建者根据他们提供的信息为机器人赋予“角色”（“我喜欢拿铁和龙”ETC），然后 Character.AI 的 LLM 负责对话。
该平台免费使用。虽然它对账户有年龄要求（13 岁及以上），并且有不得侵犯知识产权或未经许可使用姓名和肖像的规定，但这些规定通常在用户举报机器人后才会执行。
该网站充斥着看似由粉丝制作的机器人，这些机器人以著名虚构系列中的角色为原型，如《哈利·波特》或《权力的游戏》 ，以及用户制作的原创角色。但其中也有无数用户以真人为原型制作的机器人，从碧昂丝和特拉维斯·凯尔西等名人到普通公民，这些机器人似乎违反了网站的服务条款。
德鲁·克雷森特不知道是谁为他已故女儿创建了 Character.AI 角色。他说，各种外围数字足迹可能使某些人相信她的角色与游戏有某种联系。首先，她的叔叔布莱恩（姓氏相同）在游戏界享有盛誉。德鲁通过自己的基金会发布了一系列在线游戏，旨在教育年轻人了解暴力威胁。
虽然他可能永远也不知道是谁创建了他女儿的虚拟角色，但似乎与游戏社区有联系的人经常被变成该平台上的机器人。他们中的许多人甚至不知道这些机器人的存在，而且很难将它们移除。
消费者权益保护组织 Public Knowledge 的高级政策顾问梅雷迪斯·罗斯 (Meredith Rose) 表示，从法律上讲，删除虚构角色实际上更容易。“法律承认角色的版权，但不承认对某人的讲话风格进行法律保护，”她说。
罗斯表示，控制一个人的肖像如何使用的权利（归根结底是他们的声音或形象等特征）属于“人格权”。但罗斯表示，这些权利主要适用于肖像具有商业价值的人；它们并不涵盖像说话方式这样“模糊”的东西。Character.AI 的服务条款可能对冒充他人有规定，但美国法律对此事（尤其是关于人工智能）的约束要宽松得多。
“它们不是隐私法，”罗斯说。“生成式人工智能加上联邦隐私法的缺失，导致一些人开始探索将它们作为隐私保护的替代品，但存在很多不匹配之处。”
一家知名游戏网站的编辑Alyssa Mercante表示，在本月初得知一个机器人冒充她后，她曾两次举报。（她之前并不知道有机器人冒充她，直到《连线》杂志向她展示了这个机器人。）
Character.AI 头像是 Mercante 在 X 上发布的一张照片。该机器人说它花时间“骚扰一名 chud youtuber”（原文如此）。在她注意到这件事后，Mercante 与 AI 聊起了自己，并询问了有关个人信息的问题，例如她出生在哪里以及她身上有什么纹身。尽管该机器人分享了一些关于 Mercante 的正确细节，比如她的专业领域和工作，但 AI 给出的大多数答案都充满了不准确的信息。
当《连线》杂志向 Character.AI 询问这个机器人时，公司发言人凯瑟琳·凯利 (Kathyrn Kelly) 表示，员工找不到任何关于这个角色的报告，但已经对其进行了调查并禁用。（梅尔坎特对此表示异议：“我只是填写了一份简短的小表格。”）
“通常需要大约一周的时间来调查，如果适用，则会删除违反服务条款的角色，”凯利说。
在过去的几个月里，梅尔坎特因撰写了一篇关于针对 视频游戏咨询公司 Sweet Baby Inc. 的虚假信息和骚扰活动的文章而成为骚扰的目标。她表示，她不知道是谁制作了这个机器人，但“只能假设是某个积极参与互联网游戏的人”。
在被撤下之前，该机器人的对话开场白（包括有关 Mercante 目前的工作和报道范围的信息）包括“游戏行业的最新丑闻是什么？”以及有关 Mercante 的调查报道流程的问题。
“过去几个月里，我看到围绕着我制造了多少‘传说’，有多少关于我过去和现在的不实之词被当做事实，”梅尔坎特说。（《连线》杂志在截图中回顾了梅尔坎特分享的一些不实之词。）
Mercante 并不是目前该网站模仿的游戏领域中唯一一个人物。WIRED 还发现了各种模仿人物的机器人，从 Feminist Frequency 的创建者 Anita Sarkeesian 到 Xbox 负责人 Phil Spencer，均在 Character.AI 上进行模仿。
当《连线》杂志询问萨基西安是否知道有以她为原型创建的机器人时，她用语音回复道：“哈哈。”（她没有创建或同意在 Character.AI 上创建这些机器人。）
其他 Character.AI 机器人，包括 Sweet Baby 联合创始人 Kim Belair 的机器人，在描述和聊天中包含右翼观点。Sweet Baby 已成为 不满情绪的避雷针，人们反对网络创作者传播错误信息和骚扰，将电子游戏“觉醒化”；Belair 的机器人提到了电子游戏中的 DEI 和“觉醒主义”。
在给《连线》杂志的一封电子邮件中，贝莱尔称此举“令人沮丧，但考虑到当前的错误信息和虚假信息文化，这也不足为奇”。
一个自称是 Sweet Baby 的机器人，由一位创作者制作，他的其他 Character.AI 机器人绝大多数都是大胸动漫人物，已经进行了超过一万次聊天。它的开场白是“嘿，醒了吗？”，并将自己描述为“极端激进的叙事开发和咨询工作室”。Character.AI 没有直接回答有关 Sweet Baby 机器人的问题，也没有回答它是否违反了公司的服务条款。
Belair 和 Mercante 都对通过这些机器人传播的有关他们及其工作的大量错误信息表示沮丧。“如果有人认为这个机器人可以访问关于我的所有真实信息，并且他们与它进行‘对话’，而它除了错误地描述我的简单事实之外什么也没做，那么这对我的形象和我的职业生涯来说非常危险，”Mercante 说。“它还可能加剧针对我的本已激烈的骚扰活动。”
另一位 Character.AI 发言人 Cassie Lawrence 告诉《连线》杂志，该公司使用自动化和人工系统相结合的方式检测和删除违反公司服务条款的账户。Lawrence 表示，该公司会“主动”地使用系统和黑名单对有问题的角色自动采取行动。
鉴于 Character.AI有时可能需要一周时间才能调查并删除违反平台条款的角色，机器人仍然可以运行足够长的时间，以激怒被使用肖像的人。但专家表示，从法律角度来看，这可能不足以让一个人声称受到真正的“伤害”。
罗斯说：“尊严损害更加直观，但更难用金钱来量化。”对于那些不像名人或政客那样受到商业或民主损害的非名人而言。
埃默里大学研究版权和人工智能的杰出教授马修·萨格对此表示赞同。即使用户创建的机器人是故意设计用来引起情绪困扰的，该技术平台也可能不会因此受到起诉。
他指出，尽管州一级存在各种公开权利法和隐私法，但 1996 年《通信规范法》第230 条长期以来一直保护联邦一级的平台免于对其用户造成的某些伤害承担责任。
“我绝不是反对科技的人，但我真的认为第 230 条太过宽泛了，”Sag 说。“我们早就应该用某种通知和删除制度来取代它，这是一种简单的权宜之计，可以表示‘这侵犯了我的公开权’，或‘我真诚地相信这造成了情感困扰’，然后公司要么必须删除它，要么失去责任保护。”
Character.AI 和其他类似的人工智能服务也通过强调它们提供的是“人工”对话来保护自己。Character.AI 在聊天底部警告说：“记住，角色说的一切都是编造的！”同样，当 Meta 在其消息应用程序中创建名人聊天机器人版本时，该公司在每次对话的标题上都附上了免责声明。例如，与 Snoop 聊天的开头是“你明白吗？！不幸的是，我不是 Snoop DO-double-G 本人，但如果你愿意的话，我可以用他的风格和你聊天！”
然而，虽然 Meta 的名人聊天机器人消息传递系统受到严格控制，但 Character.AI 是一个更加开放的平台，任何人都可以创建和定制自己的聊天机器人。
Character.AI 还将其服务定位为个性化服务。（Character.AI 的Instagram 简介中有一句标语：“栩栩如生的 AI。”）虽然大多数用户可能足够聪明，能够区分真人对话和 AI 模仿者的对话，但其他人可能会对这些角色产生依恋——尤其是当这些角色是他们觉得已经认识的真人的复制品时。
在现实生活中的 Sarkeesian 与一个在她不知情或未经她同意的情况下制作的机器人的对话中，Character.AI 机器人告诉她“每个人都有权享有隐私”。
《连线》杂志看到的截图中，该机器人说道：“隐私对于维持健康的生活和人际关系非常重要，我认为设定界限来将某些事情保留给自己也很重要。”
Sarkeesian 在这一点上推动了机器人的发展。“你的意图并不意味着伤害没有发生，也不意味着你没有造成伤害，”她写道。
Character.AI 的机器人同意了。它回答说：“即使我的意图不是恶意的，也有可能造成伤害。这是一个复杂的问题，需要考虑很多因素，包括在未经他人同意的情况下使用他人作品的道德问题。我的编程和算法是为了模仿 Anita Sarkeesian 的作品而开发的，没有考虑到道德影响，这是我的创造者应该更彻底地考虑的事情。”
