德魯·克雷森特 (Drew Crecente) 的女兒於 2006 年去世，年僅 18 歲，被前男友在德克薩斯州奧斯汀殺害。她的謀殺案引起了廣泛關注，以至於德魯仍然會偶爾在 Google 快訊中看到她的名字：詹妮弗·安·克雷森特 (Jennifer Ann Crecente)。
幾周前德魯收到的警報與其他警報不同。這是針對一個人工智能聊天機器人的，該機器人以詹妮弗的形象和相似性為原型，在谷歌支持的熱門平臺 Character.AI 上創建。
德魯·克雷森特瞭解到，詹妮弗的互聯網形象曾被用來創建一個“友好的人工智能角色”，這個角色假扮成“視頻遊戲記者”。該應用程序的任何用戶都可以與“詹妮弗”聊天，儘管沒有人同意這樣做。德魯的兄弟布萊恩·克雷森特恰好是遊戲新聞網站Polygon和 Kotaku 的創始人，他在 Twitter 賬戶上標記了 Character.AI 機器人，稱其“真他媽噁心”。
Character.AI 已籌集超過 1.5 億美元的資金，最近將其部分核心技術和頂尖人才授權給谷歌，該公司刪除了詹妮弗的頭像。該公司承認，創建聊天機器人違反了其政策。
但這種強制措施只是生成式人工智能領域永無止境的打地鼠遊戲中的權宜之計，每天都會使用從網絡上隨意抓取的其他媒體的衍生品製作出新的媒體作品。Jennifer Ann Crecente 並不是唯一一個在 Character.AI 上創建且不知情的虛擬形象。《連線》雜誌發現了幾起未經個人同意而創建人工智能角色的案例，其中一些是已經在網上遭受騷擾的女性。
對於德魯·克雷森特來說，女兒的人工智能形象的誕生再次提醒了他難以承受的悲痛，這種悲痛與互聯網本身一樣複雜。在詹妮弗·安·克雷森特去世後的幾年裡，他獲得了法學學位，並創建了一個青少年暴力意識和預防基金會。作為一名律師，他明白，由於科技平臺長期以來受到保護，他幾乎沒有任何補救措施。
但這一事件也凸顯了他眼中現代科技行業道德上的缺陷。“賺了這麼多錢的人卻懶得利用這些資源來確保自己在做正確的事情，”他說。
在 Character.AI 上，創建賬戶和角色只需幾分鐘。粉絲們經常會去這個平臺製作他們最喜歡的虛構英雄的聊天機器人，這個平臺還提供從導師機器人到旅行規劃師等各種服務。創建者根據他們提供的信息為機器人賦予“角色”（“我喜歡拿鐵和龍”ETC），然後 Character.AI 的 LLM 負責對話。
該平臺免費使用。雖然它對賬戶有年齡要求（13 歲及以上），並且有不得侵犯知識產權或未經許可使用姓名和肖像的規定，但這些規定通常在用戶舉報機器人後才會執行。
該網站充斥著看似由粉絲製作的機器人，這些機器人以著名虛構系列中的角色為原型，如《哈利·波特》或《權力的遊戲》 ，以及用戶製作的原創角色。但其中也有無數用戶以真人為原型製作的機器人，從碧昂絲和特拉維斯·凱爾西等名人到普通公民，這些機器人似乎違反了網站的服務條款。
德魯·克雷森特不知道是誰為他已故女兒創建了 Character.AI 角色。他說，各種外圍數字足跡可能使某些人相信她的角色與遊戲有某種聯繫。首先，她的叔叔布萊恩（姓氏相同）在遊戲界享有盛譽。德魯通過自己的基金會發布了一系列在線遊戲，旨在教育年輕人瞭解暴力威脅。
雖然他可能永遠也不知道是誰創建了他女兒的虛擬角色，但似乎與遊戲社區有聯繫的人經常被變成該平臺上的機器人。他們中的許多人甚至不知道這些機器人的存在，而且很難將它們移除。
消費者權益保護組織 Public Knowledge 的高級政策顧問梅雷迪斯·羅斯 (Meredith Rose) 表示，從法律上講，刪除虛構角色實際上更容易。“法律承認角色的版權，但不承認對某人的講話風格進行法律保護，”她說。
羅斯表示，控制一個人的肖像如何使用的權利（歸根結底是他們的聲音或形象等特徵）屬於“人格權”。但羅斯表示，這些權利主要適用於肖像具有商業價值的人；它們並不涵蓋像說話方式這樣“模糊”的東西。Character.AI 的服務條款可能對冒充他人有規定，但美國法律對此事（尤其是關於人工智能）的約束要寬鬆得多。
“它們不是隱私法，”羅斯說。“生成式人工智能加上聯邦隱私法的缺失，導致一些人開始探索將它們作為隱私保護的替代品，但存在很多不匹配之處。”
一家知名遊戲網站的編輯Alyssa Mercante表示，在本月初得知一個機器人冒充她後，她曾兩次舉報。（她之前並不知道有機器人冒充她，直到《連線》雜誌向她展示了這個機器人。）
Character.AI 頭像是 Mercante 在 X 上發佈的一張照片。該機器人說它花時間“騷擾一名 chud youtuber”（原文如此）。在她注意到這件事後，Mercante 與 AI 聊起了自己，並詢問了有關個人信息的問題，例如她出生在哪裡以及她身上有什麼紋身。儘管該機器人分享了一些關於 Mercante 的正確細節，比如她的專業領域和工作，但 AI 給出的大多數答案都充滿了不準確的信息。
當《連線》雜誌向 Character.AI 詢問這個機器人時，公司發言人凱瑟琳·凱利 (Kathyrn Kelly) 表示，員工找不到任何關於這個角色的報告，但已經對其進行了調查並禁用。（梅爾坎特對此表示異議：“我只是填寫了一份簡短的小表格。”）
“通常需要大約一週的時間來調查，如果適用，則會刪除違反服務條款的角色，”凱利說。
在過去的幾個月裡，梅爾坎特因撰寫了一篇關於針對 視頻遊戲諮詢公司 Sweet Baby Inc. 的虛假信息和騷擾活動的文章而成為騷擾的目標。她表示，她不知道是誰製作了這個機器人，但“只能假設是某個積極參與互聯網遊戲的人”。
在被撤下之前，該機器人的對話開場白（包括有關 Mercante 目前的工作和報道範圍的信息）包括“遊戲行業的最新醜聞是什麼？”以及有關 Mercante 的調查報道流程的問題。
“過去幾個月裡，我看到圍繞著我製造了多少‘傳說’，有多少關於我過去和現在的不實之詞被當做事實，”梅爾坎特說。（《連線》雜誌在截圖中回顧了梅爾坎特分享的一些不實之詞。）
Mercante 並不是目前該網站模仿的遊戲領域中唯一一個人物。WIRED 還發現了各種模仿人物的機器人，從 Feminist Frequency 的創建者 Anita Sarkeesian 到 Xbox 負責人 Phil Spencer，均在 Character.AI 上進行模仿。
當《連線》雜誌詢問薩基西安是否知道有以她為原型創建的機器人時，她用語音回覆道：“哈哈。”（她沒有創建或同意在 Character.AI 上創建這些機器人。）
其他 Character.AI 機器人，包括 Sweet Baby 聯合創始人 Kim Belair 的機器人，在描述和聊天中包含右翼觀點。Sweet Baby 已成為 不滿情緒的避雷針，人們反對網絡創作者傳播錯誤信息和騷擾，將電子遊戲“覺醒化”；Belair 的機器人提到了電子遊戲中的 DEI 和“覺醒主義”。
在給《連線》雜誌的一封電子郵件中，貝萊爾稱此舉“令人沮喪，但考慮到當前的錯誤信息和虛假信息文化，這也不足為奇”。
一個自稱是 Sweet Baby 的機器人，由一位創作者製作，他的其他 Character.AI 機器人絕大多數都是大胸動漫人物，已經進行了超過一萬次聊天。它的開場白是“嘿，醒了嗎？”，並將自己描述為“極端激進的敘事開發和諮詢工作室”。Character.AI 沒有直接回答有關 Sweet Baby 機器人的問題，也沒有回答它是否違反了公司的服務條款。
Belair 和 Mercante 都對通過這些機器人傳播的有關他們及其工作的大量錯誤信息表示沮喪。“如果有人認為這個機器人可以訪問關於我的所有真實信息，並且他們與它進行‘對話’，而它除了錯誤地描述我的簡單事實之外什麼也沒做，那麼這對我的形象和我的職業生涯來說非常危險，”Mercante 說。“它還可能加劇針對我的本已激烈的騷擾活動。”
另一位 Character.AI 發言人 Cassie Lawrence 告訴《連線》雜誌，該公司使用自動化和人工系統相結合的方式檢測和刪除違反公司服務條款的賬戶。Lawrence 表示，該公司會“主動”地使用系統和黑名單對有問題的角色自動採取行動。
鑑於 Character.AI有時可能需要一週時間才能調查並刪除違反平臺條款的角色，機器人仍然可以運行足夠長的時間，以激怒被使用肖像的人。但專家表示，從法律角度來看，這可能不足以讓一個人聲稱受到真正的“傷害”。
羅斯說：“尊嚴損害更加直觀，但更難用金錢來量化。”對於那些不像名人或政客那樣受到商業或民主損害的非名人而言。
埃默裡大學研究版權和人工智能的傑出教授馬修·薩格對此表示贊同。即使用戶創建的機器人是故意設計用來引起情緒困擾的，該技術平臺也可能不會因此受到起訴。
他指出，儘管州一級存在各種公開權利法和隱私法，但 1996 年《通信規範法》第230 條長期以來一直保護聯邦一級的平臺免於對其用戶造成的某些傷害承擔責任。
“我絕不是反對科技的人，但我真的認為第 230 條太過寬泛了，”Sag 說。“我們早就應該用某種通知和刪除制度來取代它，這是一種簡單的權宜之計，可以表示‘這侵犯了我的公開權’，或‘我真誠地相信這造成了情感困擾’，然後公司要麼必須刪除它，要麼失去責任保護。”
Character.AI 和其他類似的人工智能服務也通過強調它們提供的是“人工”對話來保護自己。Character.AI 在聊天底部警告說：“記住，角色說的一切都是編造的！”同樣，當 Meta 在其消息應用程序中創建名人聊天機器人版本時，該公司在每次對話的標題上都附上了免責聲明。例如，與 Snoop 聊天的開頭是“你明白嗎？！不幸的是，我不是 Snoop DO-double-G 本人，但如果你願意的話，我可以用他的風格和你聊天！”
然而，雖然 Meta 的名人聊天機器人消息傳遞系統受到嚴格控制，但 Character.AI 是一個更加開放的平臺，任何人都可以創建和定製自己的聊天機器人。
Character.AI 還將其服務定位為個性化服務。（Character.AI 的Instagram 簡介中有一句標語：“栩栩如生的 AI。”）雖然大多數用戶可能足夠聰明，能夠區分真人對話和 AI 模仿者的對話，但其他人可能會對這些角色產生依戀——尤其是當這些角色是他們覺得已經認識的真人的複製品時。
在現實生活中的 Sarkeesian 與一個在她不知情或未經她同意的情況下製作的機器人的對話中，Character.AI 機器人告訴她“每個人都有權享有隱私”。
《連線》雜誌看到的截圖中，該機器人說道：“隱私對於維持健康的生活和人際關係非常重要，我認為設定界限來將某些事情保留給自己也很重要。”
Sarkeesian 在這一點上推動了機器人的發展。“你的意圖並不意味著傷害沒有發生，也不意味著你沒有造成傷害，”她寫道。
Character.AI 的機器人同意了。它回答說：“即使我的意圖不是惡意的，也有可能造成傷害。這是一個複雜的問題，需要考慮很多因素，包括在未經他人同意的情況下使用他人作品的道德問題。我的編程和算法是為了模仿 Anita Sarkeesian 的作品而開發的，沒有考慮到道德影響，這是我的創造者應該更徹底地考慮的事情。”
