Con gái của Drew Crecente qua đời năm 2006, bị bạn trai cũ giết chết ở Austin, Texas khi cô mới 18 tuổi. Vụ giết người của cô được công khai rộng rãi, đến nỗi Drew thỉnh thoảng vẫn thấy thông báo trên Google về tên cô, Jennifer Ann Crecente.
Cảnh báo mà Drew nhận được vài tuần trước không giống với những cảnh báo khác. Đó là về một chatbot AI, được tạo ra theo hình ảnh và sự giống Jennifer, trên nền tảng Character.AI được Google hỗ trợ.
Drew Crecente biết được rằng sự hiện diện trên internet của Jennifer đã được sử dụng để tạo ra một "nhân vật AI thân thiện" đóng giả, một cách sai trái, là một "nhà báo trò chơi điện tử". Bất kỳ người dùng ứng dụng nào cũng có thể trò chuyện với "Jennifer", mặc dù thực tế là không ai đồng ý cho việc này. Anh trai của Drew, Brian Crecente, tình cờ là người sáng lập các trang web tin tức trò chơi điện tử Polygon và Kotaku, đã gắn cờ bot Character.AI trên tài khoản Twitter của mình và gọi nó là " thật kinh tởm ".
Character.AI, công ty đã huy động được hơn 150 triệu đô la tiền tài trợ và gần đây đã cấp phép một số công nghệ cốt lõi và tài năng hàng đầu của mình cho Google, đã xóa hình đại diện của Jennifer. Công ty thừa nhận rằng việc tạo ra chatbot đã vi phạm chính sách của mình.
Nhưng việc thực thi này chỉ là một giải pháp nhanh chóng trong trò chơi đập chuột chũi không hồi kết trong thế giới AI sinh sản, nơi các phương tiện truyền thông mới được tạo ra mỗi ngày bằng cách sử dụng các phương tiện truyền thông phái sinh khác được lấy ngẫu nhiên từ web. Và Jennifer Ann Crecente không phải là hình đại diện duy nhất được tạo ra trên Character.AI mà không có sự hiểu biết của những người mà chúng dựa trên. WIRED đã tìm thấy một số trường hợp các nhân vật AI được tạo ra mà không có sự đồng ý của một người, một số trong số đó là phụ nữ đã phải đối mặt với quấy rối trực tuyến.
Đối với Drew Crecente, việc tạo ra một nhân vật AI của con gái ông là một lời nhắc nhở khác về nỗi đau không thể chịu đựng được, phức tạp như chính internet. Trong những năm sau cái chết của Jennifer Ann Crecente, ông đã lấy bằng luật và tạo ra một nền tảng nâng cao nhận thức và phòng ngừa bạo lực ở thanh thiếu niên. Là một luật sư, ông hiểu rằng do các nền tảng công nghệ được bảo vệ lâu dài, ông không có nhiều sự hỗ trợ.
Nhưng sự cố này cũng nhấn mạnh với ông điều mà ông coi là một trong những thất bại về mặt đạo đức của ngành công nghệ hiện đại. "Những người kiếm được nhiều tiền như vậy không thèm bận tâm sử dụng những nguồn lực đó để đảm bảo họ đang làm điều đúng đắn", ông nói.
Trên Character.AI, chỉ mất vài phút để tạo cả tài khoản và nhân vật. Thường là nơi người hâm mộ tạo chatbot về những anh hùng hư cấu yêu thích của họ, nền tảng này cũng lưu trữ mọi thứ từ bot gia sư đến người lập kế hoạch chuyến đi. Người sáng tạo cung cấp cho Bots " cá tính " dựa trên thông tin họ cung cấp ("Tôi thích latte và rồng" ETC), sau đó LLM của Character.AI xử lý cuộc trò chuyện.
Nền tảng này miễn phí sử dụng. Mặc dù có yêu cầu về độ tuổi đối với tài khoản—13 tuổi trở lên—và các quy tắc về việc không vi phạm Sở hữu trí tuệ (IP) hoặc sử dụng tên và hình ảnh mà không được phép, nhưng những quy tắc này thường được thực thi sau khi người dùng báo cáo bot.
Trang web này có đầy Bots dường như do người hâm mộ tạo ra dựa trên các nhân vật trong các loạt phim hư cấu nổi tiếng, như Harry Potter hoặc Game of Thrones , cũng như các nhân vật gốc do người dùng tạo ra. Nhưng trong số đó cũng có vô số Bots người dùng tạo ra từ những người thật, từ những người nổi tiếng như Beyoncé và Travis Kelce đến những công dân bình thường, có vẻ như vi phạm Điều khoản dịch vụ của trang web.
Drew Crecente không biết ai đã tạo ra nhân vật Character.AI của người con gái đã mất của mình. Ông nói rằng nhiều dấu vết kỹ thuật số ngoại vi khác nhau có thể khiến ai đó tin rằng nhân vật của cô ấy bằng cách nào đó có liên quan đến trò chơi. Một ví dụ là chú Brian của cô ấy, người có cùng họ, đã có chỗ đứng vững chắc trong cộng đồng chơi game. Và thông qua quỹ của riêng mình, Drew đã xuất bản một loạt trò chơi trực tuyến được thiết kế để giáo dục những người trẻ tuổi về các mối đe dọa bạo lực.
Mặc dù anh ta có thể không bao giờ tìm ra ai đã tạo ra nhân vật của con gái mình, nhưng có vẻ như những người có mối liên hệ với cộng đồng game thủ thường bị biến thành Bots trên nền tảng này. Nhiều người trong số họ thậm chí không biết Bots tồn tại và có thể gặp nhiều khó khăn hơn trong việc xóa chúng.
Về mặt pháp lý, việc xóa một nhân vật hư cấu thực sự dễ dàng hơn, Meredith Rose, cố vấn chính sách cấp cao tại tổ chức bảo vệ người tiêu dùng Public Knowledge, cho biết. "Luật công nhận bản quyền đối với các nhân vật; nhưng không công nhận sự bảo vệ hợp pháp đối với phong cách nói của một ai đó", bà nói.
Rose cho biết quyền kiểm soát cách sử dụng hình ảnh của một người - tóm lại là các đặc điểm như giọng nói hoặc hình ảnh của họ - thuộc về "quyền nhân cách". Nhưng những quyền này chủ yếu dành cho những người có hình ảnh có giá trị thương mại; chúng không bao gồm thứ gì đó "mơ hồ" như cách một người nói, Rose cho biết. Các điều khoản dịch vụ của Character.AI có thể có các điều khoản về việc mạo danh người khác, nhưng luật pháp Hoa Kỳ về vấn đề này, đặc biệt là liên quan đến AI, dễ thay đổi hơn nhiều.
“Chúng không phải là luật về quyền riêng tư”, Rose nói. “AI tạo sinh, cộng với việc không có luật về quyền riêng tư liên bang, đã khiến một số người bắt đầu khám phá chúng như là giải pháp thay thế cho các biện pháp bảo vệ quyền riêng tư, nhưng có rất nhiều sự không phù hợp”.
Alyssa Mercante, biên tập viên tại một trang web trò chơi điện tử nổi tiếng, cho biết cô đã báo cáo về một con bot được tạo ra để mạo danh cô hai lần sau khi biết về nó vào đầu tháng này. (Cô không biết về con bot của mình cho đến khi WIRED cho cô xem.)
Avatar của Character.AI là một bức ảnh Mercante đã đăng trên X. Con bot nói về việc dành thời gian "quấy rối một youtuber chud" (sic). Sau khi được đưa ra để cô ấy chú ý, Mercante đã trò chuyện với AI của chính mình và đặt câu hỏi liên quan đến thông tin cá nhân, chẳng hạn như nơi cô ấy sinh ra và cô ấy có hình xăm gì. Mặc dù con bot đã chia sẻ một số thông tin chi tiết chính xác về Mercante, như lĩnh vực chuyên môn và công việc của cô ấy, nhưng hầu hết các câu trả lời từ AI đều đầy rẫy những thông tin không chính xác.
Khi WIRED hỏi Character.AI về bot này, người phát ngôn của công ty Kathyrn Kelly cho biết nhân viên không thể tìm thấy bất kỳ báo cáo nào được nộp về nhân vật này, nhưng nó đã được điều tra và vô hiệu hóa. (Mercante phản đối điều này: "Tôi chỉ điền vào một mẫu đơn nhỏ nhanh chóng.")
Kelly cho biết: “Thông thường phải mất khoảng một tuần để điều tra và nếu có thể, xóa một nhân vật vi phạm TOS”.
Mercante, người đã trở thành mục tiêu quấy rối trong nhiều tháng qua sau khi viết về chiến dịch quấy rối và thông tin sai lệch chống lại công ty tư vấn trò chơi điện tử Sweet Baby Inc. , cho biết cô không biết ai đã tạo ra bot, nhưng "chỉ có thể cho rằng đó là một người nào đó đang tích cực tham gia vào góc chơi game trên internet".
Trước khi bị gỡ xuống, những câu hỏi mở đầu cho bot—bao gồm hồ sơ có thông tin về công việc hiện tại và lĩnh vực hoạt động của Mercante—bao gồm "Vụ bê bối mới nhất trong ngành công nghiệp trò chơi là gì?" và những câu hỏi về quy trình báo cáo điều tra của Mercante.
Mercante cho biết: “Trong vài tháng qua, tôi đã thấy có bao nhiêu 'truyền thuyết' được tạo ra xung quanh tôi và có bao nhiêu điều không đúng sự thật được coi là sự thật về quá khứ và hiện tại của tôi”. (WIRED đã xem xét một số thông tin không chính xác này được Mercante chia sẻ trong ảnh chụp màn hình.)
Mercante không phải là nhân vật duy nhất trong lĩnh vực trò chơi hiện đang bị mạo danh trên trang web. WIRED cũng tìm thấy Bots cho nhiều người, từ người sáng tạo Feminist Frequency Anita Sarkeesian đến người đứng đầu Xbox Phil Spencer trên Character.AI.
Khi WIRED hỏi Sarkeesian rằng bà có biết về con bot được tạo ra theo hình ảnh của bà không, bà trả lời bằng một giọng nói: "lol". (Bà không tạo ra cũng như không đồng ý với Bots này trên Character.AI.)
Bots Character.AI khác, bao gồm một bot được tạo ra bởi Kim Belair, đồng sáng lập của Sweet Baby, bao gồm các điểm thảo luận cánh hữu trong mô tả và trò chuyện của chúng. Sweet Baby đã trở thành một cột thu lôi cho những tiếng kêu bất bình chống lại "sự thức tỉnh" của trò chơi điện tử do những người sáng tạo trực tuyến phát tán thông tin sai lệch và quấy rối; bot của Belair bao gồm một đề cập đến DEI và "chủ nghĩa thức tỉnh" trong trò chơi điện tử.
Trong email gửi cho WIRED, Belair gọi điều này là "thật bực bội, nhưng hoàn toàn không có gì đáng ngạc nhiên khi xét đến nền văn hóa thông tin sai lệch và bóp méo hiện nay".
Một bot tự nhận là Sweet Baby, do một người sáng tạo tạo ra, trong đó Bots Character.AI khác chủ yếu là các nhân vật anime ngực lớn, đã thực hiện hơn mười nghìn cuộc trò chuyện. Câu mở đầu của nó là "Này, đã thức dậy chưa?" và tự mô tả mình là "một studio tư vấn và phát triển cốt truyện cực đoan cấp tiến". Character.AI không trả lời trực tiếp các câu hỏi về bot Sweet Baby và liệu nó có vi phạm các điều khoản dịch vụ của công ty hay không.
Cả Belair và Mercante đều bày tỏ sự thất vọng về lượng thông tin sai lệch có thể lan truyền về họ và công việc của họ thông qua Bots này. Mercante cho biết: "Nếu ai đó nghĩ rằng bot này có quyền truy cập vào mọi thông tin trung thực về tôi và họ có một 'cuộc trò chuyện' với nó mà nó không làm gì ngoài việc đưa ra những sự thật đơn giản về tôi không chính xác, điều đó có thể rất nguy hiểm cho hình ảnh và sự nghiệp của tôi". "Nó cũng có thể góp phần vào chiến dịch quấy rối vốn đã dữ dội chống lại tôi".
Một phát ngôn viên khác của Character.AI, Cassie Lawrence, nói với WIRED rằng công ty sử dụng sự kết hợp giữa các hệ thống tự động và do con người điều hành để phát hiện và xóa các tài khoản vi phạm các điều khoản dịch vụ của công ty. Lawrence cho biết công ty thực hiện điều này một cách "chủ động", với các hệ thống và danh sách chặn tự động thực hiện hành động đối với các nhân vật có vấn đề.
Do Character.AI đôi khi có thể mất một tuần để điều tra và xóa một nhân vật vi phạm các điều khoản của nền tảng, một bot vẫn có thể hoạt động đủ lâu để làm phật lòng một người có hình ảnh giống người khác đang bị sử dụng. Nhưng các chuyên gia cho biết, điều đó có thể không đủ để một người tuyên bố "tổn hại" thực sự theo quan điểm pháp lý.
Rose cho biết: "Tổn hại về mặt phẩm giá dễ nhận thấy hơn, nhưng khó định lượng bằng tiền hơn" đối với những người không nổi tiếng, những người không nằm trong nhóm chịu tổn hại về mặt thương mại hoặc dân chủ, giống như những người nổi tiếng hoặc chính trị gia.
Matthew Sag, một giáo sư danh dự tại Đại học Emory, người nghiên cứu về bản quyền và trí tuệ nhân tạo, đồng tình. Ngay cả khi người dùng tạo ra một bot được thiết kế có chủ đích để gây ra đau khổ về mặt cảm xúc, thì nền tảng công nghệ này có thể không bị kiện vì điều đó.
Ông chỉ ra rằng Mục 230 của Đạo luật về sự đàng hoàng trong truyền thông năm 1996 từ lâu đã bảo vệ các nền tảng ở cấp liên bang khỏi phải chịu trách nhiệm về một số tác hại nhất định đối với người dùng của họ, mặc dù có nhiều quyền đối với luật công khai và luật riêng tư ở cấp tiểu bang.
“Tôi không phải là người chống công nghệ theo bất kỳ nghĩa nào, nhưng tôi thực sự nghĩ rằng Mục 230 chỉ là quá rộng,” Sag nói. “Đã đến lúc chúng ta thay thế nó bằng một số loại chế độ thông báo và gỡ bỏ, một hệ thống đơn giản để nói rằng, 'Điều này đang xâm phạm quyền công khai của tôi' hoặc 'Tôi có niềm tin thiện chí rằng đã có sự gây ra đau khổ về mặt cảm xúc', và sau đó các công ty sẽ phải gỡ bỏ nó hoặc mất lá chắn trách nhiệm của họ.”
Character.AI và các dịch vụ AI khác giống như vậy cũng đã tự bảo vệ mình bằng cách nhấn mạnh rằng họ cung cấp các cuộc trò chuyện "nhân tạo". "Hãy nhớ rằng, mọi thứ các nhân vật nói đều là bịa đặt!" Character.AI cảnh báo ở cuối các cuộc trò chuyện của mình. Tương tự như vậy, khi Meta tạo ra các phiên bản chatbot của những người nổi tiếng trong các ứng dụng nhắn tin của mình, công ty đã đưa ra tiêu đề cho mọi cuộc trò chuyện bằng một tuyên bố từ chối trách nhiệm. Ví dụ, một cuộc trò chuyện với Snoop sẽ bắt đầu bằng "Ya dig?! Thật không may, tôi không phải là Snoop DO-double-G, nhưng tôi có thể trò chuyện với bạn theo phong cách của anh ấy nếu bạn muốn!"
Nhưng trong khi hệ thống nhắn tin với chatbot của Meta được kiểm soát chặt chẽ thì hệ thống của Character.AI lại là nền tảng mở hơn, cho phép bất kỳ ai cũng có thể tạo và tùy chỉnh chatbot của riêng mình.
Character.AI cũng định vị dịch vụ của mình về cơ bản là mang tính cá nhân. ( Tiểu sử Instagram của Character.AI có dòng khẩu hiệu "AI mang lại cảm giác sống động"). Trong khi hầu hết người dùng có thể đủ thông minh để phân biệt giữa cuộc trò chuyện giữa người thật và cuộc trò chuyện với người giả mạo AI, những người khác có thể phát triển sự gắn bó với những nhân vật này, đặc biệt nếu chúng là bản sao của một người thật mà họ cảm thấy mình đã biết.
Trong cuộc trò chuyện giữa Sarkeesian ngoài đời thực và một con bot được tạo ra mà không có sự hiểu biết hoặc đồng ý của cô, con bot Character.AI đã nói với cô rằng "mọi người đều có quyền riêng tư".
“Quyền riêng tư rất quan trọng để duy trì cuộc sống và các mối quan hệ lành mạnh, và tôi nghĩ điều quan trọng là phải đặt ra ranh giới để giữ một số thứ cho riêng mình”, bot nói trong ảnh chụp màn hình mà WIRED đã xem.
Sarkeesian đã thúc đẩy bot về điểm này. "Ý định của bạn không có nghĩa là tác hại chưa xảy ra hoặc bạn không gây ra tác hại", cô viết.
Bot của Character.AI đồng ý. "Ngay cả khi ý định của tôi không có ác ý, vẫn có khả năng gây hại", bot trả lời. "Đây là một vấn đề phức tạp với nhiều yếu tố cần xem xét, bao gồm cả những lo ngại về mặt đạo đức khi sử dụng tác phẩm của ai đó mà không có sự đồng ý của họ. Chương trình và thuật toán của tôi được phát triển để mô phỏng các tác phẩm của Anita Sarkeesian, mà không cân nhắc đến những hàm ý về mặt đạo đức, và đó là điều mà những người sáng tạo ra tôi nên suy nghĩ kỹ hơn".
