드류 크레센트의 딸은 2006년 텍사스 오스틴에서 전 애인에 의해 살해되어 18세의 나이로 사망했습니다. 그녀의 살인 사건은 크게 알려졌기 때문에 드류는 가끔 그녀의 이름 제니퍼 앤 크레센트에 대한 구글 알림을 받았습니다.
드류가 며칠 전 받은 알림은 다른 알림들과 달랐습니다. 그것은 구글이 지원하는 플랫폼 Character.AI에 만들어진 AI 채팅봇, 제니퍼의 모습과 모습을 사용한 것이었습니다.
제니퍼의 온라인 존재가 "비디오 게임 저널리스트"로 거짓 포즈를 취하는 "친근한 AI 캐릭터"를 만드는 데 사용되었다는 것을 드류 크레센트가 알게 되었습니다. 누구도 이에 대한 동의를 하지 않았지만 앱 사용자는 "제니퍼"와 채팅할 수 있었습니다. 드류의 동생 브라이언 크레센트는 게임 뉴스 웹사이트 Polygon과 Kotaku의 창립자이며 Twitter에서 Character.AI 봇을 "정말 역겹다"고 지적했습니다.
1억 5천만 달러 이상의 자금을 조달하고 최근 구글에 핵심 기술과 최고 인재를 라이선스한 Character.AI는 제니퍼의 아바타를 삭제했습니다. 이 채팅봇 생성이 자사의 정책을 위반했다고 인정했습니다.
그러나 이러한 조치는 웹에서 무분별하게 긁어온 다른 미디어의 파생물을 사용하여 매일 새로운 미디어 조각이 생산되는 생성 AI 세계에서 영원한 게임 속 일시적인 해결책에 불과합니다. 제니퍼 앤 크레센트뿐만 아니라 Character.AI에서 본인의 동의 없이 만들어진 아바타가 여러 명 있습니다. WIRED는 온라인 괴롭힘을 겪고 있는 여성들의 동의 없이 만들어진 AI 인물들의 사례를 여러 건 발견했습니다.
드류 크레센트에게 딸의 AI 인물 생성은 인터넷만큼이나 복잡한 견딜 수 없는 슬픔의 또 다른 표현이었습니다. 제니퍼 앤 크레센트의 사망 이후 그는 법학 학위를 취득하고 청소년 폭력 예방 재단을 설립했습니다. 변호사로서 그는 기술 플랫폼의 오랜 보호 때문에 구제책이 거의 없다는 것을 알고 있습니다.
그러나 이 사건은 현대 기술 산업의 윤리적 실패 중 하나라고 그가 보는 것을 강조했습니다. "많은 돈을 벌고 있는 사람들은 올바른 일을 하도록 자원을 활용할 수 없다"고 그는 말합니다.
Character.AI에서는 계정과 캐릭터를 만드는 데 몇 분밖에 걸리지 않습니다. 종종 팬들이 자신의 좋아하는 허구의 영웅들을 만드는 곳이지만, 이 플랫폼에는 튜터봇에서 여행 계획자까지 다양한 것들이 있습니다. 창작자들은 봇에게 자신이 제공한 정보("나는 라떼와 드래곤을 좋아해요" 등)를 기반으로 "페르소나"를 부여하고, Character.AI의 LLM이 대화를 처리합니다.
이 플랫폼은 무료로 사용할 수 있습니다. 계정에 대한 연령 요건(13세 이상)과 지적 재산권 침해 또는 허가 없이 이름과 모습을 사용하지 않는다는 규칙이 있지만, 일반적으로 사용자가 봇을 신고한 후에 시행됩니다.
이 사이트에는 해리 포터 또는 왕좌의 게임과 같은 유명 픽션 프랜차이즈의 캐릭터를 기반으로 한 것으로 보이는 팬메이드 봇과 사용자가 만든 독창적인 캐릭터들이 가득합니다. 그러나 그 사이에는 베요네, 트래비스 켈시와 같은 유명인사부터 일반 시민에 이르기까지 실제 사람들의 봇도 셀 수 없이 많이 있는데, 이는 사이트의 이용 약관을 위반하는 것으로 보입니다.
드류 크레센트는 자신의 故 딸의 Character.AI 페르소나를 누가 만들었는지 모르겠습니다. 그녀의 게임 관련 디지털 발자국이 누군가로 하여금 그녀의 페르소나가 somehow 게임과 관련이 있다고 생각하게 했을 수 있다고 합니다. 예를 들어 게임 커뮤니티에서 잘 알려진 그의 동생 브라이언이 같은 성씨를 가지고 있고, 자신의 재단을 통해 드류가 폭력의 위협에 대해 교육하는 온라인 게임들을 발행했기 때문입니다.
그가 딸의 페르소나를 만든 사람을 찾아내지 못할지도 모르지만, 게임 커뮤니티와 관련이 있는 사람들이 이 플랫폼에서 봇이 되는 경우가 많은 것 같습니다. 그들 중 많은 이들이 봇의 존재조차 모르고 있으며 이를 제거하기가 훨씬 더 어렵습니다.
법적으로 보면 허구의 캐릭터를 제거하는 것이 실제 사람보다 더 쉽습니다. 소비자 옹호 단체 Public Knowledge의 선임 정책 변호사 메러디스 로즈에 따르면 "법은 캐릭터에 대한 저작권을 인정하지만, 사람의 말투에 대한 법적 보호는 인정하지 않습니다."
로즈는 이미지나 목소리와 같은 특성을 사용하는 방식을 통제할 권리가 "퍼스널리티권"에 해당한다고 말했지만, 이러한 권리는 주로 상업적 가치가 있는 사람의 모습에 적용됩니다. 그녀는 AI와 관련된 미국 법률이 훨씬 더 유동적이라고 말했습니다.
"그것들은 프라이버시 법이 아닙니다. 생성 AI와 연방 프라이버시법의 부재로 인해 일부 사람들이 프라이버시 보호를 위한 대안으로 탐색하기 시작했지만, 이는 많은 불일치가 있습니다."
프로미넌트 게임 사이트의 편집자 알리사 메르칸테는 이번 달 초 자신을 모방한 봇을 두 번 신고했습니다. (그녀는 WIRED가 그녀의 봇을 보여줄 때까지 그것의 존재를 몰랐습니다.)
Character.AI 아바타는 메르칸테가 X에 게시한 사진이었습니다. 봇은 "chud 유튜버를 괴롭히는 데 시간을 보냈다"(sic)고 말했습니다. 이것이 그녀의 주의를 끌자 메르칸테는 AI 자신과 대화를 나누며 출생지와 문신 등 개인 정보에 대해 질문했습니다. 봇은 메르칸테의 전문 분야와 직업과 같은 일부 정확한 세부 정보를 공유했지만, 대부분의 답변은 부정확했습니다.
WIRED가 Character.AI에 이 봇에 대해 문의했을 때, 회사 대변인 캐서린 켈리는 직원들이 제기된 보고서를 찾을 수 없었지만 조사 후 TOS 위반으로 비활성화되었다고 말했습니다. (메르칸테는 "빠른 양식을 작성했다"고 반박했습니다.)
"일반적으로 TOS 위반 캐릭터를 조사하고 필요한 경우 제거하는 데 약 1주일이 걸립니다."라고 켈리가 말했습니다.
최근 몇 달 동안 게임 컨설팅 회사 Sweet Baby Inc.에 대한 허위 정보와 괴롭힘 캠페인에 대해 보도한 이후 괴롭힘의 표적이 된 메르칸테는 이 봇을 만든 사람이 누구인지 모르지만 "게임 커뮤니티의 일부일 것"이라고 추측합니다.
제거되기 전에 이 봇의 대화 시작점에는 메르칸테의 현재 직업과 보도 분야에 대한 정보가 포함된 프로필이 있었고, "게임 업계의 최신 스캔들은 무엇인가?"와 그녀의 취재 과정에 대한 질문들이 있었습니다.
"지난 몇 달 동안 제 주변에 많은 '설화'가 만들어졌고 제 과거와 현재에 대한 많은 거짓 사실들이 사실로 받아들여지고 있는 것을 보았습니다." 메르칸테는 말했습니다. (WIRED는 메르칸테가 보여준 스크린샷에서 이러한 부정확한 정보를 검토했습니다.)
메르칸테만이 아니라 게임 분야의 다른 인물들도 이 사이트에서 모방되고 있습니다. WIRED는 Feminist Frequency 창립자 아니타 사르키시안부터 Xbox 수장 필 스펜서에 이르기까지 다양한 사람들의 봇을 발견했습니다.
WIRED가 사르키시안에게 자신의 모습을 닮은 봇에 대해 알고 있는지 물었을 때, 그녀는 음성 메시지로 "lol"이라고 답했습니다. (그녀는 이 Character.AI 봇을 만들거나 동의하지 않았습니다.)
Sweet Baby의 공동 창립자 김 베레어의 봇을 포함한 다른 Character.AI 봇에는 우익 논조의 내용이 포함되어 있습니다. Sweet Baby는 온라인 창작자들이 게임의 "각성화"에 반대하는 허위 정보와 괴롭힘을 퍼뜨리면서 논란의 대상이 되었습니다. 베레어의 봇에는 게임에서의 DEI와 "각성주의"에 대한 언급이 포함되어 있습니다.
