Google, Apple, Discord를 포함한 주요 기술 회사는 사람들이 해로운 "옷 벗기" 웹사이트 에 빠르게 가입할 수 있도록 했습니다. 이 웹사이트는 AI를 사용하여 실제 사진에서 옷을 제거하여 피해자가 동의 없이 "나체"로 보이게 합니다. 이러한 딥페이크 웹사이트 중 12개 이상이 수개월 동안 기술 회사의 로그인 버튼을 사용해 왔습니다.
WIRED 분석에 따르면 Google, Apple, Discord, Twitter, Patreon, Line의 로그인 인프라를 사용하는 가장 큰 소위 탈의 및 "누드화" 웹사이트 16개가 발견되었습니다. 이 접근 방식을 통해 사람들은 크레딧을 지불하고 이미지를 생성하기 전에 딥페이크 웹사이트에 계정을 쉽게 만들어 신뢰성의 외양을 제공할 수 있습니다.
여성과 소녀의 합의되지 않은 친밀한 이미지를 만드는 봇과 웹사이트는 수년 동안 존재해 왔지만 , 생성 AI가 도입되면서 그 수가 증가했습니다. 이런 종류의 "옷 벗기" 학대는 놀라울 정도로 널리 퍼져 있으며 , 10대 소년들이 반 친구의 이미지를 만든다고 합니다. 비평가들은 기술 회사들이 문제의 규모를 처리하는 데 느렸으며, 웹사이트가 검색 결과에 상위에 표시되고, 소셜 미디어에서 이를 홍보하는 유료 광고가 표시되고, 앱이 앱 스토어 에 표시되었다고 말합니다.
변호사이자 EndTAB(Ending Technology-Enabled Abuse)의 설립자인 애덤 도지는 "이것은 빅테크가 여성과 소녀에 대한 성폭력을 정상화하는 추세의 연장선입니다."라고 말합니다. "로그인 API는 편의를 위한 도구입니다. 우리는 결코 성폭력을 편의 행위로 만들어서는 안 됩니다."라고 그는 말합니다. "우리는 이러한 앱에 대한 접근 주변에 벽을 세워야 하는데, 대신 사람들에게 도개교를 제공하고 있습니다."
WIRED가 분석한 로그인 도구는 API와 일반적인 인증 방법을 통해 배포되며, 사람들이 기존 계정을 사용하여 딥페이크 웹사이트에 가입할 수 있도록 합니다. Google의 로그인 시스템은 16개 웹사이트에 나타났고, Discord는 13개, Apple은 6개에 나타났습니다. X 버튼은 3개 웹사이트에 나타났고, Patreon과 메시징 서비스 Line은 모두 같은 두 웹사이트에 나타났습니다.
WIRED는 남용을 가능하게 하기 때문에 웹사이트의 이름을 밝히지 않았습니다. 몇몇은 더 광범위한 네트워크의 일부이며 동일한 개인이나 회사가 소유하고 있습니다 . 기술 회사가 개발자가 해를 끼치거나, 괴롭히거나, 사람들의 사생활을 침해하는 방식으로 서비스를 사용할 수 없다는 규칙을 광범위하게 가지고 있음에도 불구하고 로그인 시스템이 사용되었습니다.
WIRED의 연락을 받은 후, Discord와 Apple의 대변인은 웹사이트에 연결된 개발자 계정을 제거했다고 말했습니다. Google은 약관이 위반된 경우 개발자에 대해 조치를 취할 것이라고 말했습니다. Patreon은 노골적인 이미지를 만들 수 있는 계정을 금지한다고 말했고 Line은 조사 중이지만 특정 웹사이트에 대해서는 언급할 수 없다고 말했습니다. X는 시스템이 사용되는 방식에 대한 의견 요청에 응답하지 않았습니다.
Discord 신뢰 및 안전 담당 부사장인 Jud Hoffman이 WIRED에 개발자 정책을 위반했다는 이유로 해당 웹사이트의 API 접근을 종료했다고 말한 지 몇 시간 후, 탈의 웹사이트 중 하나가 Telegram 채널에 Discord를 통한 승인이 "일시적으로 불가능"하다고 게시하고 접근을 복구하려 하고 있다고 주장했습니다. 해당 탈의 서비스는 WIRED의 운영에 대한 논평 요청에 응답하지 않았습니다.
2017년 말 에 딥페이크 기술이 등장한 이래로, 합의하지 않은 친밀한 영상 과 이미지의 수가 기하급수적으로 증가했습니다. 영상은 제작하기 어렵지만, "옷 벗기" 또는 "누드화" 웹사이트와 앱을 사용하여 이미지를 만드는 것은 흔해졌습니다.
"이것은 혁신이 아니라 성적 학대라는 것을 분명히 해야 합니다." 최근 누드 및 누드 웹사이트와 그 제작자를 상대로 소송을 제기한 샌프란시스코 시 변호사 데이비드 치우는 이렇게 말합니다. 치우는 자신의 사무실이 소송에 집중하는 16개 웹사이트가 올해 상반기에만 약 2억 건의 방문을 기록했다고 말합니다. "이러한 웹사이트는 전 세계적으로 여성과 소녀를 끔찍하게 착취하고 있습니다. 이러한 이미지는 여성과 소녀를 괴롭히고, 모욕하고, 위협하는 데 사용됩니다." 치우는 주장합니다.
옷 벗기기 웹사이트는 종종 그림자 속에서 운영되는 사업으로 운영되며, 누가 소유했는지 또는 어떻게 운영되는지 에 대한 세부 정보를 거의 제공하지 않습니다. 같은 사람이 운영하는 웹사이트는 종종 비슷해 보이고 거의 동일한 이용 약관을 사용합니다. 일부는 12개 이상의 다른 언어를 제공하여 문제의 전 세계적 성격을 보여줍니다. 웹사이트에 연결된 일부 Telegram 채널에는 각각 수만 명의 회원이 있습니다.
웹사이트도 끊임없이 개발 중입니다. 그들은 자주 자신들이 제작 중인 새로운 기능에 대해 게시합니다. 한 기능은 AI가 여성의 신체 모양을 사용자 정의하고 "인스타그램에서 업로드"를 허용할 수 있다고 주장합니다. 웹사이트는 일반적으로 사람들에게 이미지를 생성하는 데 비용을 청구하고 사람들이 이미지를 공유하도록 장려하기 위해 제휴 제도를 운영할 수 있습니다 . 일부는 이미지 비용을 지불하는 데 사용할 수 있는 자체 암호화폐를 만들기 위해 집단으로 모였습니다.
자신을 알렉산더 오거스트라고 소개하고 웹사이트 중 하나의 CEO인 한 사람이 WIRED에 응답하며 "우리 기술의 잠재적 오용에 대한 우려를 이해하고 인정합니다."라고 말했습니다. 그 사람은 웹사이트가 미성년자 이미지가 생성되는 것을 방지하기 위해 다양한 안전 메커니즘을 구축했다고 주장합니다. "우리는 사회적 책임을 다하는 데 전념하고 있으며, 서비스의 투명성, 안전성, 신뢰성을 강화하기 위해 공식 기관과 협력할 의향이 있습니다."라고 그들은 이메일로 썼습니다.
기술 회사 로그인은 누군가가 사이트에 가입하거나 버튼을 클릭하여 이미지를 생성하려고 할 때 종종 표시됩니다. 얼마나 많은 사람이 로그인 방법을 사용했는지는 불분명하며, 대부분의 웹사이트는 사람들이 이메일 주소만으로 계정을 만들 수 있도록 허용합니다. 그러나 검토한 웹사이트 중 대부분은 두 개 이상의 기술 회사의 로그인 API를 구현했으며, Google로 로그인이 가장 널리 사용되었습니다. 이 옵션을 클릭하면 Google 시스템의 프롬프트에 웹사이트가 사람들의 이름, 이메일 주소, 언어 환경 설정 및 프로필 사진을 가져온다고 표시됩니다.
Google의 로그인 시스템은 또한 웹사이트에 연결된 개발자 계정에 대한 일부 정보를 공개합니다. 예를 들어, 4개의 웹사이트가 하나의 Gmail 계정에 연결되어 있고, 6개의 웹사이트가 다른 계정에 연결되어 있습니다. Google 대변인은 "Google로 로그인을 사용하려면 개발자가 성적으로 노골적인 콘텐츠의 홍보와 다른 사람을 모욕하거나 괴롭히는 행동이나 콘텐츠를 금지하는 서비스 약관에 동의해야 합니다."라고 말하며, 이러한 약관을 위반하면 "적절한 조치"가 취해질 것이라고 덧붙였습니다.
WIRED의 연락을 받은 후 로그인 시스템을 사용하던 다른 기술 회사도 계정을 금지했다고 밝혔습니다.
Discord의 Hoffman은 WIRED에서 플래그를 지정한 웹사이트에 대한 조치를 취하는 것 외에도, 이 회사는 "정책을 위반하는 것으로 알려진 다른 웹사이트를 계속 다룰 것"이라고 말했습니다. Apple 대변인 Shane Bauer는 Apple과의 여러 개발자 라이선스를 종료했으며, Sign In With Apple이 해당 웹사이트에서 더 이상 작동하지 않을 것이라고 말했습니다. Patreon의 기업 커뮤니케이션 책임자인 Adiya Taylor는 성인 자료나 노골적인 이미지를 생성할 수 있는 외부 도구에 대한 액세스를 허용하거나 자금을 지원하는 계정을 금지한다고 말했습니다. "Patreon에서 커뮤니티 가이드라인을 위반하는 것으로 밝혀진 모든 작품이나 계정에 대해 조치를 취할 것입니다."
로그인 시스템뿐만 아니라, 여러 웹사이트는 Mastercard 또는 Visa 로고를 표시하여 서비스 비용을 지불하는 데 사용될 수 있음을 암시했습니다. Visa는 WIRED의 논평 요청에 응답하지 않았고, Mastercard 대변인은 "합의되지 않은 딥페이크 콘텐츠 구매는 당사 네트워크에서 허용되지 않습니다."라고 말하며, 어떤 사례라도 감지하거나 알게 되면 조치를 취한다고 말했습니다.
여러 차례에 걸쳐 기술 회사와 결제 제공업체는 미디어가 그들의 활동에 대해 보도한 후 사람들이 동의하지 않은 이미지나 비디오를 생성할 수 있도록 하는 AI 서비스에 대해 조치를 취 했습니다. 더럼 대학교 법학 교수이자 온라인 포르노와 성폭력 및 학대에 대한 법적 규제에 대한 전문 지식을 가진 클레어 맥글린은 Big Tech 플랫폼이 적극적으로 조치를 취하지 않음으로써 알몸 웹사이트와 유사한 웹사이트의 성장을 가능하게 하고 있다고 말합니다.
"우려되는 점은 이것들이 가장 기본적인 보안 단계와 절제가 누락되었거나 시행되지 않는다는 것입니다." 맥글린은 사용되고 있는 로그인 시스템에 대해 말하며, 언론인이나 캠페인 참여자가 규칙을 쉽게 회피하고 있다고 강조할 때 회사가 대응하는 것은 "완전히 부적절하다"고 덧붙였습니다. "그들이 수사에도 불구하고 단순히 신경 쓰지 않는다는 것은 분명합니다." 맥글린이 말했습니다. "그렇지 않았다면 그들은 접근성을 줄이기 위해 이러한 가장 간단한 단계를 취했을 것입니다."
