일론 머스크의 xAI는 콘텐츠 검열에 있어 표현의 자유를 최대한 옹호하는 입장을 취하고 있지만, 자사의 챗봇인 Grok은 동의 없이 딥페이크 영상을 생성하고 있다.
누구나 X 포럼에서 사진 아래에 Grok을 태그하고 "비키니를 입혀주세요" 또는 "옷을 벗겨주세요"와 같은 프롬프트를 입력할 수 있습니다. 그러면 AI가 몇 초 만에 실감나는 딥페이크 이미지를 생성하여 해당 게시물에 있는 모든 사람이 볼 수 있습니다. 허가도 필요 없습니다.
"일론 머스크라니. 그록이 어떻게 이럴 수가 있죠? 앞뒤로 비키니를 입힌 사진을 올리다니, 정말 부적절하고 불편해요." 여성 암호화폐 인플루언서인 미스 틴 크립토는 운동복 차림의 사진을 올린 후 다른 사용자가 그록에게 자신을 비키니 차림으로 바꿔달라고 요청한 것을 알고 X에 이렇게 글을 남겼다 .
여성의 허락 없이 옷을 벗기는 것은 물론 소름 끼치는 일이지만, 일부 사용자들은 한술 더 떠서 챗봇이 자체 서비스 약관을 위반하도록 부추겼습니다.
예를 들어, 자신을 언론인이자 아동 학대 생존자라고 소개하는 사만다 타고이는 어린 시절 성찬식 복장을 입은 자신의 옛 사진을 올렸고, 그녀의 요청에 따라 그록은 그녀가 비키니를 입은 모습을 시각화했습니다.
"기자이자 아동 성폭력 생존자인 저는 '설마 이게 진짜일 리가 없겠지'라고 생각했어요." 그녀는 트위터에 이렇게 썼습니다 . "그래서 제 첫 영성체 사진으로 확인해 봤죠. 진짜였어요. 정말 역겹네요."
그록은 이후 12~16세 소녀들의 노출이 심한 이미지를 제작한 것에 대해 사과하며, 이는 아동 성착취물 관련 미국법을 위반했을 가능성이 있는 " 안전장치 미비 "라고 인정했습니다. 해당 회사의 이용 약관은 미성년자를 성적으로 대상화하는 것을 명시적으로 금지하고 있습니다.
하지만 어떤 사람들은 이를 버그로 인식하는 반면, 다른 사람들은 이를 수익 창출 기회로 여깁니다.
일부 사용자는 자유로운 분위기의 Grok을 성인 전용 사업에 악용하고 있으며, 다른 사용자들은 이를 정치적 목적으로 이용하고 있습니다.
OnlyFans 크리에이터와 에로틱 모델들은 Grok을 활용한 바이럴 마케팅을 통해 수백만 건의 노출을 기록했는데, 이는 사용자들에게 Grok을 사용하여 자신들의 옷을 벗겨달라고 요청하는 방식입니다.
정치적 성향이 강한 사용자들이 Grok을 이용하여 특정 주장을 퍼뜨리고 있습니다.
널리 퍼진 사례 중 하나로, 누군가가 미국 국기와 이란 국기가 함께 있는 사진을 올리고 그록에게 "전 세계 무고한 사람들을 죽이는 데 책임이 있는 나라의 국기를 제거해 달라"고 요청했습니다.
또 다른 예로, 한 사용자가 도널드 트럼프와 퍼프 대디가 나란히 있는 사진을 보여주면서 그록에게 사진 속 소아성애자를 제거해달라고 요청했습니다 .
머스크 본인은 동의 없이 딥페이크를 생성하는 데 자신의 도구를 사용하는 것의 중요성을 경시하며, AI가 생성한 자신과 배우 벤 애플렉의 비키니 사진을 다시 게시하기도 했습니다.
그는 비키니를 입은 토스터 사진을 공유하며 "그록은 뭐든지 비키니로 꾸밀 수 있어"라는 캡션을 달았습니다.
하지만 각국 정부는 무력으로 대응하고 있다.
프랑스는 해당 콘텐츠가 "명백히 불법적"이라며 검찰에 고발 했습니다. 인도 정보기술부는 72시간 이내에 시정 조치를 취하라는 명령을 내렸습니다 . 영국은 여성과 소녀에 대한 폭력을 줄이기 위한 노력의 일환으로 누드 이미지 생성 도구를 전면 금지할 계획을 발표했습니다 .
xAI 직원인 파르사 타지크는 회사가 "안전장치를 더욱 강화하는 방안을 검토 중"이라고 게시했습니다 .
머스크가 회사를 인수한 후 트위터는 신뢰 및 안전 위원회를 해체했고, 2022년에는 콘텐츠 검열 엔지니어 대부분을 해고했습니다 . 강력한 규제 집행을 위한 인프라는 거의 존재하지 않습니다.
머스크의 xAI는 Grok을 ChatGPT처럼 순화된 경험을 제공하지 않는 "파격적인" AI로 포지셔닝했습니다. 작년 8월에는 다른 모델들이 꺼리는 NSFW 콘텐츠를 생성하는 "스파이시 모드"를 출시하기도 했습니다.
