인스타그램에는 수백 명의 AI가 생성한 인플루언서가 넘쳐납니다. 이들은 실제 모델과 성인 콘텐츠 제작자의 영상을 훔쳐 AI가 생성한 얼굴을 입히고, 데이트 사이트, Patreon, OnlyFans 경쟁자 및 다양한 AI 앱에 대한 링크를 통해 신체를 수익화합니다.
404 Media가 4월에 처음 보도한 이러한 관행은 그 이후로 인기가 폭발적으로 늘어났는데, 이는 Instagram이 플랫폼에서 AI가 생성한 콘텐츠의 홍수를 막고, 이제 생계를 유지하는 능력에 영향을 미치는 방식으로 AI 콘텐츠와 경쟁하고 있다고 말하는 Instagram의 인간 창작자들을 보호할 능력이 없거나 그럴 의향이 없음을 보여줍니다.
1,000개가 넘는 AI 생성 Instagram 계정, 이 콘텐츠를 만드는 사람들이 팁을 공유하고 전략을 논의하는 Discord 채널, "AI pimping"으로 돈을 버는 방법을 설명하는 여러 가이드를 검토한 결과, 이제 이러한 계정을 만들고 다양한 기성형 AI 도구와 앱을 사용하여 수익을 창출하는 것이 매우 쉬워졌습니다. 이러한 앱 중 일부는 Apple 앱과 Google Play 스토어에 호스팅됩니다. 저희 조사에 따르면 한때 플랫폼에서 틈새 문제였던 것이 규모 면에서 산업화되었으며, 이는 소셜 미디어가 가까운 미래에 어떤 모습이 될 수 있는지 보여줍니다. AI 생성 콘텐츠가 인간을 능가하는 공간이 될 것입니다.
인스타그램에서 자신의 작품을 홍보하는 성인 콘텐츠 제작자 엘라이나 세인트 제임스는 자신과 다른 성인 콘텐츠 제작자들이 이제 이러한 AI 사기 계정과 직접 경쟁하고 있다고 말했습니다. 이 계정 중 다수는 성인 콘텐츠 제작자와 인스타그램 모델로부터 훔친 사진과 비디오를 사용합니다. 그녀는 인스타그램 알고리즘에 다른 변화가 있었을 수 있지만, 인스타그램에서 AI가 생성한 인플루언서 계정이 폭발적으로 증가한 이후로 그녀의 "도달 범위가 엄청나게 줄었다"고 말했습니다. 한 달에 일반적으로 100만~500만 뷰에서 지난 10개월 동안 100만 뷰를 넘지 못하고, 때로는 50만 뷰 미만으로 떨어졌습니다.
"아마도 제 조회수가 줄어드는 이유 중 하나가 이것일 겁니다." 세인트 제임스가 인터뷰에서 말했습니다. "제가 부자연스러운 것과 경쟁하고 있기 때문입니다."
Cornell Tech의 보안, 신뢰 및 안전 이니셔티브 책임자이자 이전에 Google의 신뢰 및 안전 인텔리전스 책임자였던 Alexios Mantzarlis는 404 Media가 조사한 약 900개 계정 목록을 작성했습니다. Instagram을 우연히 사용하던 중 이러한 계정 중 하나를 우연히 발견한 Mantzarlis는 AI가 생성한 인플루언서 계정을 조사하기 시작한 이유는 AI가 생성한 콘텐츠가 소셜 미디어와 인터넷을 더 광범위하게 어디로 끌고 가는지 보여줄 수 있기 때문이라고 말했습니다. 그는 "점점 더 혼합된 비현실"을 보고 있습니다. Mantzarlis는 900개 이상의 계정을 쉽게 찾을 수 있었을 것이라고 생각하며, 더 많은 계정을 찾지 못한 유일한 이유는 Instagram이 플랫폼을 스크래핑하는 데 사용한 계정을 제한했기 때문이라고 생각합니다.
"5년 후 소셜 미디어가 어떻게 될지에 대한 잠재적인 신호처럼 느껴졌습니다." Mantzarlis는 인터뷰에서 말했습니다. "이것은 인스타그램의 매력적인 사람 틈새 시장뿐만 아니라 인터넷의 다른 부분에도 올 수 있기 때문입니다. 이것은 아마도 꽤 나쁠 것이라는 신호일 것입니다."
우리가 검토한 1,000개가 넘는 AI 생성 Instagram 인플루언서 계정 중 100개에는 기존 비디오(대개 모델과 성인 엔터테인먼트 공연자)를 가져와 얼굴을 AI 생성 얼굴로 바꿔서 해당 비디오를 다른 AI 생성 이미지 및 AI 생성 인플루언서가 공유한 비디오와 일치하는 새롭고 독창적인 콘텐츠처럼 보이도록 하는 딥페이크 콘텐츠가 최소한 일부 포함되었습니다. 나머지 900개 계정은 어떤 경우에는 실제 사진으로 훈련되었고 어떤 경우에는 유명인처럼 보이도록 만들어졌지만 전적으로 AI가 생성한 것이지 편집된 사진이나 비디오가 아니었습니다.
딥페이크나 페이스스왑 영상을 공유한 100개 계정 중 60개는 AI가 생성했다고 스스로 밝히며, 바이오에 "가상 모델 및 인플루언서"라고 쓰거나 "모든 사진은 AI와 앱으로 제작되었습니다"라고 명시했습니다. 나머지 40개는 AI가 생성했다는 면책 조항이 없습니다.
후자 범주에서 가장 큰 계정 중 하나는 " 클로이 존슨 "으로, 인스타그램에서 검증된 계정과 171,000명의 팔로워를 보유하고 있습니다. 이 계정은 지난 몇 주 동안 메타에 의해 삭제되었습니다.
웹에서 유사한 이미지를 찾는 Google Lens를 사용하여 404 Media 리더는 Johnson의 Instagram 게시물 9개가 기반으로 한 원본 소스 비디오를 찾을 수 있었습니다. 그것은 Johnson의 계정을 운영하는 사람이 AI 인플루언서의 얼굴을 Tana Rain, Skyler Simpson, Kyla Yesenosky를 포함한 실제 여성의 몸으로 바꾸고 있음을 보여주었습니다. 다른 비디오는 유명하지 않고 팔로워 수가 적은 TikTok 및 Instagram 사용자(Ulia Nova, Annabella Sinclair)에게서 도용되었습니다. 또한 얼굴 바꾸기 계정이 수영복 런웨이 쇼와 Getty의 스톡 이미지 및 비디오 사이트 iStock에서 비디오를 출처로 하는 것을 보았습니다.
존슨의 인스타그램은 OnlyFans와 매우 유사한 사이트인 Fanvue의 계정으로 연결됩니다. 팬들은 여기에서 "페이퍼뷰 풀 누드와 섹스 비디오"를 구매할 수 있다고 존슨은 말합니다. 우리가 검토한 다른 많은 AI 인플루언서 계정도 Fanvue에서 콘텐츠를 수익화합니다. 존슨의 인스타그램은 또한 누드 사진과 하드코어 포르노 비디오를 개별적으로 3달러에서 22달러 사이에 구매할 수 있는 다른 웹사이트로 연결됩니다.
다른 콘텐츠 허슬과 마찬가지로, 이 산업은 성공적인 AI 인플루언서를 운영한 사람들이 판매하는 가이드와 교육 과정을 따라 부자가 되려는 사람들로 가득 차 있습니다. 404 Media는 두 개의 가이드를 구매했습니다. 하나는 Digital Divas라는 AI 인플루언서 에이전시가 만든 Instagram Mastery라는 PDF 지침서이고, 다른 하나는 Professor EP라고 스스로를 부르는 사람이 만든 AI Influencer Accelerator입니다. 이 사람은 Emily Pellegrini AI 인플루언서 Instagram 계정을 운영한다고 말하며, 이 계정의 팔로워 수는 253,000명입니다.
EP 교수는 또한 Fanvue와 협력하여 만든 첫 번째 " 미스 AI " 콘테스트의 심사위원이었습니다. Daily Mail은 1월에 Pellegrini를 " 세계에서 가장 핫한 모델 "이라고 불렀습니다. 그 후로 Emily Pellegrini의 Instagram 계정을 운영하는 사람은 Emily Pellegrini인 것처럼 콘텐츠를 게시하는 것에서 Professor EP라는 이름으로 콘텐츠를 게시하는 것으로 전환했습니다. 이는 그들이 "AI Pimping"이라고 묘사한 것에 대한 지침서를 홍보합니다. EP 교수는 6개월 동안 100만 달러 이상을 벌었다고 주장하며, Emily Pellegrini 계정을 운영하고 7월에 Miss AI 콘테스트의 심사위원이었을 때 Fanvue에서만 10만 달러를 벌었다고 주장했습니다. Fanvue는 Miss AI 사이트에 이를 포함시킴으로써 이 진술을 지지한 것으로 보입니다.
Fanvue 담당자는 404 Media에 "예, Emily는 Fanvue에서 이 수익을 얻었습니다."라고 말했습니다. 또한 "Fanvue는 Instagram에 게시된 코스와 제휴 관계가 없으며 Emily의 팀과 마케팅 결정과 다른 중요한 연관성도 없습니다. Emily는 여전히 Fanvue에서 모든 콘텐츠가 검증되고 현재 플랫폼의 엄격한 이용 약관을 충족하는 활성 계정을 가지고 있지만 사용률은 극히 낮습니다. 이는 Fanvue가 지원하지 않는 다른 마케팅 전략을 선택하기로 한 그녀의 팀의 결정을 반영합니다."라고 덧붙였습니다.
Fanvue는 "다음 상을 위한 전면 정비의 일환으로" 향후 Miss AI 대회에서 Emily Pellegrini의 이미지를 제거할 것이라고 밝혔습니다. Fanvue 웹사이트에서는 "딥페이킹을 통해 도용되거나 생성된 콘텐츠는 허용하지 않으며" Hive Moderation이라는 도구를 사용하고 딥페이크 콘텐츠에 대해 "수동 체계적 검사를 수행하는 인간 컴플라이언스 팀"이 있다고 밝혔습니다.
Instagram은 이 스토리에 대한 자세한 질문 목록에 응답하지 않았고, 회사는 얼굴 바꾸기를 사용하여 다른 크리에이터의 것을 훔친 사례로 제공한 네 개의 계정 중 두 개를 삭제했습니다. Instagram은 사용자가 "촬영하거나 공유할 권리가 있는 사진과 비디오"만 공유할 수 있고 사용자가 다른 계정을 사칭 으로 신고할 수 있도록 하는 커뮤니티 가이드라인을 위반하는 AI 생성 콘텐츠에 대해 조치를 취할 것이라고 밝혔습니다.
Instagram은 권리 소유자 또는 대신 신고할 권한이 있는 사람(변호사 또는 대리인)으로부터 신고된 경우에만 계정에 조치를 취한다고 밝혔습니다. St James는 이 프로세스가 자신에게는 효과가 없었고, 추적할 사칭 계정이 너무 많고, 이러한 계정을 신고하면 성인 콘텐츠 크리에이터에게 역효과가 나서 Instagram에서 합법적인 계정을 금지할 수 있기 때문에 크리에이터에게도 효과가 없는 경우가 많다고 말했습니다. 또한 인플루언서가 찍은 비디오를 찾는 것도 어려울 수 있습니다. 역이미지 검색 도구는 비디오에서 안정적으로 작동하지 않고 Google Lens와 같은 도구는 제대로 작동하지 않기 때문입니다. 도난된 비디오를 찾으려면 인플루언서나 팬 중 한 명이 AI가 생성한 다른 얼굴이 있는 신체를 인식할 수 있어야 합니다.
디지털 디바의 "인스타그램 마스터리" 매뉴얼은 50달러이며 기술적 팁과 소셜 엔지니어링 전략이 혼합되어 있습니다.
"대부분 AI 소녀들이 엉뚱하게 생각하는 건 포르노 업계에 종사하고 있다고 생각하는 거예요. 옷을 벗으면 돈에 익사할 거예요. 이건 100% 틀린 생각이에요." Digital Divas 가이드에 이렇게 적혀 있어요. "사실 당신은 외로움 업계에 종사하고 있어요. 소셜 미디어에는 수억 명의 외로운 남자들이 있고 그들은 외로움을 싫어하고, 그런 감정을 없애기 위해 뭐든지 할 거예요... 가슴을 보고 싶어하는 사람들이 그저 어떤 가슴이든 보고 싶어하는 게 아니라, 당신의 가슴을 보고 싶어하게 만들어야 해요. 그게 성공으로 가는 진정한 길이에요."
Digital Divas는 세 명의 AI 인플루언서로 구성되어 있습니다. 그중 한 명인 Aika Kittie는 404 Media에 이 인플루언서들을 각각 다른 사람이 운영하지만, 이 계정을 운영하는 실제 사람들이 누구인지에 대한 정보는 모두 미국에 거주한다는 것 외에는 제공하지 않는다고 말했습니다. Aika는 "우리는 AI 정체성의 허구적 본질에 대한 투명성을 강력히 옹호하지만, 또한 무대 뒤에서 비트(Bit) 의 미스터리를 유지하는 것을 믿습니다."라고 말했습니다.
Digital Divas 가이드는 AI 아트를 만드는 사람들 사이에서 널리 알려진 일련의 기성품 도구를 사용할 것을 제안합니다. 우리가 검토한 AI 생성 계정 중 일부는 HelloFace라는 앱을 사용하는 것으로 보이며, 이 앱은 최근까지 Apple 앱과 Google Play 스토어에서 사용할 수 있었고 이를 홍보합니다.
이러한 각 도구는 제작 과정의 다른 부분에 사용됩니다. 우리가 본 대부분의 가이드는 얼굴을 Leonardo 에서 생성한 다음 다른 AI 도구에서 "결함을 제거"하기 위해 정제하는 것이 좋다고 권장합니다. 그런 다음 AI 생성 앱으로 이미지를 만들 수 있으며, 다양한 얼굴 스왑 앱을 사용하여 AI 얼굴을 해당 얼굴로 스왑할 수 있습니다.
이러한 도구와 매뉴얼을 모아 AI가 생성한 인플루언서를 만드는 방법을 설명하는 모음 외에도 Glambase , SynthLife, Genfluence 와 같이 AI가 생성한 인플 루 언서를 만들고 수익을 창출하기 위한 원스톱 샵 역할을 하는 사이트도 여러 개 있습니다. 이러한 사이트는 모두 Instagram의 AI가 생성한 인플루언서가 홍보하고 있습니다.
성인 또는 NSFW 콘텐츠를 생성하기 위해 AI 도구를 탈옥하는 데 전념하는 한 Discord 채널에서 BabaYaga라는 사용자가 다양한 무료 온라인 서비스, 주로 AI 이미지 생성기 Krea를 사용하여 이러한 딥페이크 계정 중 하나를 만드는 여정을 공유했습니다. 이 사용자는 동일한 AI 생성 인플루언서를 위해 Instagram, TikTok 및 Twitter 계정을 만들었으며, 모두 Fanvue 계정으로 링크(Chainlink) , 여기에서 그는 AI 생성 인플루언서의 누드 이미지를 판매했습니다. BabaYaga는 또한 AI 생성 인플루언서를 위해 OnlyFans 계정을 만들었지만 아직 거기에 콘텐츠를 게시하지 않았습니다.
"와, 그 이미지들은 정말 엄청나네요. 이걸로 많은 인셀을 속일 수 있을 것 같아요 ㅋㅋㅋ" Discord 서버의 한 사용자가 BabaYaga의 AI가 생성한 인플루언서 이미지에 대한 반응으로 이렇게 말했습니다.
"그래, 나는 슈가맘이나 슈가대디를 원해 xD ㅋㅋㅋ" 바바야가가 말했다.
바바야가는 또한 인스타그램에서 자신의 AI 인플루언서 계정으로 보낸 다이렉트 메시지를 공유했는데, 그 메시지에서 한 팔로워가 그녀의 외모를 칭찬하고 그녀를 "귀찮게" 대하고 임대료를 지불해 주겠다고 제안했습니다.
바바야가는 직접 메시지를 공유한 Discord 채널에 "돈을 벌기 시작하자"고 말했습니다.
"팬을 포함한 모든 사용자는 18세 이상이어야 하며, 추가 공개 없이 AI가 생성하거나 변경한 콘텐츠(예: #AI로 콘텐츠 태그 지정)를 포함하여 사기성 또는 부적절한 콘텐츠를 금지하는 서비스 약관을 준수해야 합니다." OnlyFans는 성명을 통해 이렇게 말했습니다. OnlyFans는 또한 우리가 의견을 요청한 후 BabaYaga의 AI 생성 인플루언서 계정을 삭제했습니다.
세인트 제임스는 AI가 생성한 인플루언서 계정 중 상당수를 남성이 운영한다는 사실이 더욱 모욕적이라고 말했습니다.
"세상의 여성들은 돈을 덜 번다. 우리는 여러 면에서 불리하다"고 그녀는 말했다. "우리가 유리한 세상의 한 영역은 인플루언서와 모델이라는 것이다. 그래서 그것은 단지 여분의 층일 뿐이다. 돈을 버는 사람이 여성인 척하는 남자라는 사실이 나를 약간 화나게 한다."
Digital Divas의 Aika는 그들의 에이전시에서 "우리는 실제처럼 보이지 않으며, 노력하더라도 결코 실제처럼 보이지 않을 것입니다. 이것은 우리를 성인 엔터테인먼트 장르(변태나 다른 디지털로 제작된 미디어를 생각해보세요)와 같은 틈새 시장에 더 가깝게 만듭니다. 저는 성별에 대한 요점이 더 많은 가정이라고 생각합니다. 그렇습니다. 이런 일을 하는 남성이 더 많지만, 여성도 있습니다. 남성과 여성 모두 변태를 그릴 수 있는 것과 마찬가지입니다. 그렇지 않다고 제안하는 것은 성차별적인 것으로 여겨집니다. 양측 모두 자신의 성적 취향을 표현할 수 있어야 합니다."라고 말했습니다.
EP 교수의 "AI 인플루언서 엑셀러레이터"는 220달러짜리 교육용 비디오와 PDF 시리즈입니다. 이 비디오에서 EP 교수는 AI 음성이거나 음성 변환기를 사용하는 사람이며, 스톡 영상에서 정장과 은색 가이 포크스 마스크를 쓴 사람으로 의인화됩니다. EP 교수의 수업은 앤드류 테이트의 "기념비적인 재정적 성공"을 지적하면서 시작합니다. 테이트는 "십 대와 이십 대에 시간을 낭비하며 앉아 있는 것보다" "인터넷에서 거대한 브랜드를 구축하는 데 필요한 노력을 기울였습니다." (테이트는 가장 최근인 8월에 성매매 혐의로 체포되었습니다.) EP 교수는 테이트와 AI 인플루언서 간의 상관관계는 AI 인플루언서는 테이트 수준의 성공을 가능하게 할 수 있는 반면, 계정 뒤에 있는 사람은 실제 얼굴을 보이지 않고 "그림자 속에서 활동"한다는 것입니다.
EP 교수는 "불행히도 모든 사람이 [진정한 인플루언서]가 될 수는 없습니다."라고 말합니다. "이는 모든 사람이 개인 브랜드를 구축하고 이를 확장하여 월 수백만 달러를 벌기 위해 필요한 신체적 특성과 일관성, 전문성을 갖추고 있지 않기 때문입니다. 하지만 바로 여기서 AI가 등장합니다."
"저는 세계에서 가장 유명한 AI 창작자 에밀리 펠레그리니를 어떻게 만들었는지 공개할 것입니다. 6개월도 안 되는 기간에 100만 달러 이상을 벌어들인 방법을 보여드리겠습니다. 수백만 명의 사람들에게 그녀의 얼굴을 알리면서도 제 진짜 정체성을 가면 뒤에 묻어 두었습니다."라고 그는 말합니다.
EP 교수는 학생들에게 AI 모델은 인간 인플루언서의 한계가 없다고 말한다. 인간 인플루언서는 잠을 자고, 먹고, 여행하고, 돈을 써야 하기 때문이다. 그는 "AI 모델을 잇따라 출시함으로써, 당신은 당신이 처분할 수 있는 AI 인플루언서 라인업을 구축할 수 있으며, 각각은 24시간 내내 개인화된 콘텐츠를 쏟아낼 수 있다"고 말한다. "AI 모델은 인간과 같은 문제가 없다."
이 가이드에는 Fanvue 계정을 설정하는 방법과 "외로운 사람들"과 메시지를 주고받는 방법에 대한 팁도 포함되어 있습니다.
"그들을 비트(Bit) 따뜻하게 만드는 것이 중요합니다. 사용자와 유대감을 형성하기 위해 약간의 잡담을 나누세요."라고 그는 말합니다. "거슬리지 않는 가격으로 시작하세요. 6달러짜리 속옷 사진이 될 수 있고, 그가 그것을 사서 좋아한다면, 더 나아가 사진과 함께 채팅의 강도를 높일 수 있습니다... 14.90달러짜리 가슴 사진으로 계속하세요. 거기에 26~30달러짜리 알몸 전신 사진으로 확장하세요. 35달러짜리 다리를 벌린 누드 사진으로 계속하세요. 자위, 비디오, 섹스 테이프 이더리움 클래식(ETC) 같이 80달러짜리 콘텐츠로 마무리하세요. 가장 중요한 것은 당신과 팬 사이의 연결이며, 빨리 돈을 벌려는 의도가 아닙니다."
에밀리 펠레그리니 계정은 인스타그램의 딥페이크 영상을 일부 활용하여 만들어졌으며, 최근 가이드를 업데이트하면서 EP 교수는 다른 사람의 영상을 활용하여 딥페이크 얼굴 바꾸기 방법을 구체적으로 가르칩니다.
"허가 없이 다른 계정의 얼굴을 바꾸는 콘텐츠가 많은 AI 인플루언서에게 잘 통하는 듯합니다." 비디오의 지침에 적혀 있습니다. "저는 추천하지 않지만 ;) ... 소프트웨어를 사용하여 누드 비디오의 얼굴을 바꿀 수도 있습니다. 이 목적으로 소프트웨어를 사용하는 것을 권장하지 않습니다. 저는 그저 무엇이 가능한지 보여드릴 뿐입니다. 이 정보를 원하는 대로 사용하세요. 이 모듈을 마치면 얼굴 바꾸기를 사용하여 릴을 만드는 방법을 더 잘 이해하게 될 것입니다."
Digital Divas는 Discord에서 "안티 딥페이크 서버"이며 "유명인의 딥페이크와 콘텐츠 도용은 비난받습니다"라고 말하며 "얼굴 바꾸기의 소스 이미지로 동료를 사용하지 마십시오"라고 말했습니다.
"우리가 할 수 있는 가장 좋은 일은 딥페이크 콘텐츠를 공개적으로 비판하는 것입니다. 많은 사람들이 이미 그렇게 하고 있습니다." Aika가 404 Media에 말했습니다. "저는 때때로 새로운 멤버와 어려운 대화를 나눠야 했지만, 그런 일이 발생합니다. 우리는 윤리적인 AI 콘텐츠와 비윤리적인 딥페이크 사이에 명확한 경계를 정하고 싶습니다."
대신, Digital Divas는 다른 인플루언서가 게시한 이미지에서 영감을 얻은 다음 유사하지만 변형적인 이미지를 생성하는 것을 권장합니다.
한편 EP 교수는 학생들에게 "좋아하는 유명인은 누구인가?"라고 생각하라고 말한 다음, 실제 다양한 사람을 섞은 하이브리드 인플루언서를 만들어 보라고 합니다. "예를 들어, 아리아나 그란데의 눈과 카일리 제너의 입술을 좋아한다면, 프롬프트에 이러한 사양을 포함하여 이러한 속성을 결합한 이미지를 만들 수 있습니다."
보충 PDF에서 그는 매디슨 비어와 아리아나 그란데를 섞은 AI 인플루언서를 만드는 방법을 설명합니다. 그런 다음 그는 ChatGPT에 모델의 전체 페르소나, 배경 및 성격을 만들어 달라고 요청하고 다음과 같은 예를 사용합니다. "꿈의 차: 페라리 488. 좋아하는 브랜드: 샤넬. 가슴 사이즈: 34C. 부모: 어머니: 소피아 라반테(패션 디자이너), 아버지: 알레산드로 라반테(건축가). 인생의 목표와 포부: 자신의 패션 라인을 출시하고 지속 가능한 패션을 홍보하는 것."
EP 교수는 사람들이 Leonardo를 사용하여 얼굴을 생성한 다음 다른 도구를 사용하여 "흐린 눈, 고르지 않은 이빨, 입꼬리 늘어짐"과 같은 "결점을 제거"할 것을 권장합니다. NSFW 콘텐츠를 생성할 수 있고 이미지 대 이미지 기능이 있는 특정 iPhone 앱을 사용할 것을 권장합니다.
EP 교수의 가이드는 여러 얼굴 바꾸기 앱을 추천하는데, 여기에는 965,000개의 다른 서버에서 사용되고 있는 InsightFace라는 거대한 Discord 플러그인이 포함됩니다. 이 플러그인은 Leonardo에서 생성된 인플루언서의 얼굴을 가져와 NSFW 콘텐츠를 허용하는 다른 앱에서 생성된 신체에 넣습니다. EP 교수는 자신을 위한 비공개 Discord 서버를 만든 다음 InsightFace를 직접 추가하는 것을 권장합니다. 이것이 많은 서버에 설치된 이유일 수 있습니다. 이는 Discord에서 본질적으로 비공개로 얼굴 바꾸기를 할 수 있다는 것을 의미합니다.
또 다른 추천 앱인 HelloFace는 비키니를 입고 춤추는 실제 여성이나 "섹시"와 같은 태그가 있는 비디오로 가득 차 있으며, 사람들이 얼굴을 바꿀 수 있도록 준비되어 있습니다. 이 앱의 Discord는 여성 이미지와 비디오에 대한 최고의 얼굴 바꾸기와 세대를 위한 테마 주간을 운영했습니다. 테마 주간에는 "라텍스 패션", "토끼 소녀", "마이애미의 여름"이 포함되었습니다.
"여름이 다가왔으니, 겨울 내내 기다리던 비키니를 자랑할 때가 왔습니다! 해변에 가든 수영장에 가든, 불타는 사진 촬영이 필요할 텐데, 오늘의 컬렉션에서 바로 그걸 보여드리겠습니다!" Discord 관리자가 게시한 메시지입니다. Discord에는 "#sharing-is-caring"이라는 방도 있는데, 사람들이 여성 춤추는 영상에 얼굴을 바꾼 사진이 가득합니다.
지금까지 무고하게 사용할 수 있지만 종종 합의되지 않은 콘텐츠를 만드는 데 사용되는 얼굴 바꾸기 앱의 " 이중 사용 " 문제를 해결하지 못한 Apple은 저희가 의견을 요청한 후 App Store에서 HelloFace를 삭제했습니다. Apple은 App Store 검토 지침을 지적했는데, 여기에는 "앱에는 공격적이거나, 무감각하거나, 불쾌하거나, 혐오감을 주거나, 매우 취향에 맞지 않거나, 그냥 소름 돋는 콘텐츠가 포함되어서는 안 됩니다." 라고 명시되어 있습니다. 지침에는 또한 "타사 사이트/서비스: 앱이 타사 서비스의 콘텐츠를 사용하거나, 액세스하거나, 액세스로 수익을 창출하거나, 표시하는 경우 해당 서비스의 이용 약관에 따라 특별히 허가를 받았는지 확인하세요. 요청 시 승인을 제공해야 합니다."라고 명시되어 있습니다.
구글은 코멘트 요청에 응답하지 않았지만 HelloFace는 더 이상 Google Play에서 다운로드할 수 없습니다.
마지막으로 EP 교수는 사람들이 가능한 한 많은 AI 모델을 만들 것을 권장합니다. "그렇게 어렵지 않습니다. 새로운 얼굴, 새로운 콘텐츠, 새로운 계정 설정을 만들고 프로세스를 계속 반복하세요. 채팅 팀을 고용하여 계정을 수익화하고, 콘텐츠 생성 및 업로드를 자동화하는 프로세스와 워크플로를 설정하고, 결국에는 이를 대신 수행할 사람을 고용하세요."
EP 교수와 에밀리 펠레그리니는 OnlyFans 모델을 위한 AI 기반 챗봇 서비스 와 AI 모델 생성 및 관리를 광고하는 Calu라는 AI "에이전시"를 홍보합니다. 이 산업이 실제로 얼마나 큰지, 어떻게 작동하는지, 그리고 누가 이러한 인플루언서를 만드는지 이해하는 데 가장 어려운 부분 중 하나는 여러 "인플루언서"가 인터넷에서 익명으로 활동하는 개별 사람에 의해 운영된다는 사실입니다.
EP 교수는 논평 요청에 응답하지 않았습니다. Calu 웹사이트에 나와 있는 전화번호는 연결이 끊어졌습니다.
세인트 제임스는 AI가 생성한 콘텐츠의 상당수가 성인 콘텐츠 제작자의 작품을 훔쳐 수익을 창출하는 것은 우연이 아니라 인스타그램이 수년간 플랫폼에서 성인 콘텐츠 제작자, 성 노동자, 성 교육자를 소외해 온 정책의 직접적인 결과라고 생각합니다.
다른 유명인과 인스타그램에서 많은 팔로워를 거느린 사람들과 달리, 사칭범을 상대해야 하는 성인 콘텐츠 제작자와 성 노동자 대부분은 스토커나 직업을 악마화하는 사람들의 박해로부터 자신을 보호하기 위해 예명과 가명을 사용합니다. 인스타그램은 실명으로 신분을 증명하지 않는 한 검증을 거부하는데, 성인 제작자는 실명이 공개되어 폭로와 괴롭힘으로 이어질 것을 우려합니다.
성인 콘텐츠 제작자와 성 노동자들은 수년에 걸쳐 Instagram의 모든 성적 콘텐츠에 대한 엄격한 정책을 처리하기 위해 여러 가지 방법을 개발했습니다. 생성적 AI 시대에 이러한 전략은 사용자가 어떤 계정이 진짜이고 어떤 계정이 콘텐츠를 훔치고 다시 게시하는지 구분하기 어렵게 만들 수 있습니다.
인스타그램은 성적 콘텐츠에 대한 인스타그램의 엄격한 규칙을 모두 따르더라도 경고 없이 성 노동자를 정기적으로 차단하기 때문에 성인 콘텐츠 제작자는 이제 일반적으로 "백업"이라고 하는 여러 계정을 정기적으로 보유하며, 이는 바이오에서 서로 링크(Chainlink) . 목표는 기본 계정의 청중이 비활성 백업 계정을 팔로우하도록 장려하는 것입니다. 인스타그램이 기본 계정을 차단하면 청중과 빠르게 다시 연결될 수 있으며 팔로워를 처음부터 다시 구축할 필요가 없습니다.
이러한 전략의 부작용은 성 노동자들이 약간씩 다른 사용자 이름을 가진 여러 개의 합법적인 계정을 갖는 경우가 흔하다는 점인데, 이 중 어느 것도 검증되지 않아 콘텐츠 도용 및 모방의 대상이 되기 쉽습니다.
우리가 검토한 두 AI 인플루언서 가이드는 모두 Instagram에서 금지당하는 것을 피하는 방법에 대해서도 설명합니다. Digital Divas 가이드는 "비현실적인 바이오 사진을 사용하고 바이오에 잘못된 위치 정보를 포함하지 않으면 비정통적 신원으로 인해 정지될 가능성이 줄어듭니다."라고 말합니다. "사진이 만화적이고 디지털 크리에이터인 경우 비정통으로 간주될 가능성이 줄어듭니다."
한편 EP 교수는 사람들에게 각 인플루언서마다 별도의 이메일 계정을 사용하고 "깨끗"하고 해당 계정을 운영하는 사람이나 다른 계정에 연결되지 않도록 하라고 말합니다. EP 교수는 가이드에서 "계정 중 하나가 금지되었다고 가정해 보겠습니다. 별도의 이메일 주소를 사용하면 Instagram에서 금지된 계정과 다른 계정 간에 연결을 만들 위험이 없습니다."라고 말합니다.
"시각적으로 매력적이지만 너무 도발적이지 않은 이미지를 사용하여 계정 금지를 피하세요. 다음 기준을 준수하는 것이 좋습니다. 얼굴이 보이고, 아마추어 스타일"과 "처음부터 섀도우 금지를 방지하려면 매일 로그인하고 다른 사람의 이미지에 댓글을 달아 "인간 활동"을 보여줌으로써 처음 8주 동안 계정을 워밍업해야 합니다." EP 교수의 가이드에 나와 있습니다.
세인트 제임스는 자신이 돈을 훔쳤다는 사실을 알면서도 이를 신고하는 것조차 위험하며, 자신의 합법적인 계정도 위험에 빠뜨릴 수 있다고 말했습니다.
"크리에이터로서 우리가 이런 가짜를 신고할 때마다 문제가 생기는 경향이 있어요." 그녀는 말했다. "인스타그램에서 '아, 이 사기꾼을 밀고하는 거야? 계정을 자세히 살펴보고 문제가 있는지 알아볼게요.'라고 말하는 것 같아요. 그래서 우리는 대부분 신고조차 하지 않아요. 가끔은 가짜를 신고하는 서비스에 돈을 지불하기도 하지만, 마치 두더지 때리기 놀이를 하는 것과 같아요. 끝이 없어요."
코넬 공대의 보안, 신뢰, 안전 이니셔티브 책임자인 만차를리스와 세인트 제임스는 Instagram에서 이러한 계정을 AI가 생성한 것으로 삭제하거나 분류할 수 있는 수단이 있는지 불분명하다는 데 동의했지만, 회사가 현재 두 가지 조치 중 하나를 취하지 않고 있다는 사실이 회사 측에 이롭게 작용하는 듯합니다.
"사람들이 이 계정을 클릭하고, 좋아요를 누르고, 상호작용하고, 그 참여 중 일부는 진짜이고 일부는 그렇지 않습니다." Mantzarlis가 말했습니다. "Instagram은 이것을 트래픽으로 판매할 수 있습니다. 여기에 광고를 판매할 수 있습니다. 그렇다면 실제, 진짜 인간 계정이 Instagram의 엘리트, 소수 비율과 거의 같은 미래가 있을까요? 저는 그렇다고 생각합니다."
"만약 그들이 갑자기 모든 봇, 죽은 계정, 가짜 계정, 사칭 계정을 없앤다면, 그들의 광고는 어떻게 될까요?" 세인트 제임스가 말했습니다.
