최근 전 대통령이자 유죄 판결을 받은 범죄자 도널드 트럼프는 팝 스타 테일러 스위프트의 팬들이 미국 대선 출마를 지지하는 것으로 보이는 일련의 사진을 게시했습니다. 이 사진은 AI가 생성한 것으로 보였으며, WIRED는 비영리 단체인 True Media의 탐지 도구를 통해 "조작의 상당한 증거"를 보여줌으로써 아마도 그럴 것이라고 확인할 수 있었습니다 .
항상 그렇게 쉬운 일은 아닙니다. 정치적 목적을 포함한 생성 AI의 사용은 점점 더 일반화되었고, WIRED는 전 세계 선거에서 그 사용을 추적 해 왔습니다. 하지만 미국과 유럽의 일부를 제외한 대부분의 세계에서는 시스템 훈련의 편향으로 인해 AI가 생성한 콘텐츠를 감지하는 것이 어렵고, 언론인과 연구자는 쏟아지는 허위 정보를 처리할 리소스가 거의 없습니다.
AI를 사용하여 생성되거나 조작된 미디어를 감지하는 것은 여전히 신생 분야이며, 생성 AI 기업의 갑작스러운 폭발에 대한 대응책입니다. (AI 스타트업은 2023년에만 210억 달러 이상의 투자를 유치했습니다.) 글로벌 사우스의 기술 정책에 초점을 맞춘 싱크탱크인 Tech Global Institute의 설립자인 사바나즈 라시드 디야는 "누군가가 합성 미디어를 만들 수 있도록 하는 도구와 기술이 실제로 감지하는 데 사용할 수 있는 것보다 훨씬 더 쉽게 접근할 수 있습니다."라고 말합니다.
비영리 단체인 Witness의 프로그램 디렉터인 샘 그레고리에 따르면, 현재 시중에 나와 있는 대부분 도구는 어떤 것이 AI로 만들어졌는지 판단할 때 85~90%의 신뢰율만 제공할 수 있다고 합니다. Witness는 사람들이 기술을 사용하여 인권을 지원하도록 돕습니다. 하지만 방글라데시나 세네갈과 같이 피험자가 백인이 아니거나 영어를 사용하지 않는 지역의 콘텐츠를 다룰 때는 신뢰 수준이 급격히 떨어집니다. 그레고리는 "도구가 개발되면서 특정 시장을 우선시했습니다."라고 말합니다. 모델을 훈련하는 데 사용된 데이터에서 "미국식 악센트의 영어나 서구 세계에서 우세한 얼굴을 우선시했습니다."
즉, AI 모델은 대부분 서구 시장의 데이터로 훈련을 받았기 때문에 해당 매개변수를 벗어나는 것은 인식할 수 없습니다. 어떤 경우에는 회사가 영어가 압도적으로 우세한 언어 인 인터넷에서 가장 쉽게 구할 수 있는 데이터를 사용하여 모델을 훈련했기 때문입니다. 아프리카와 남반구의 디지털 위협에 초점을 맞춘 비영리 시빅(Civic) 조직인 Thraets[복사팀 참고: 오타가 아닙니다]의 설립자인 Richard Ngamita는 "[아프리카]에서 얻은 대부분의 데이터는 실제로 종이 사본입니다."라고 말합니다. 즉, 해당 데이터가 디지털화되지 않으면 AI 모델을 해당 데이터로 훈련할 수 없습니다.
AI 모델을 AI 생성 또는 AI 조작 콘텐츠를 정확하게 감지할 만큼 충분히 잘 훈련하는 데 필요한 방대한 양의 데이터가 없다면, 모델은 종종 거짓 양성을 반환하여 실제 콘텐츠를 AI 생성으로 표시하거나 거짓 부정을 반환하여 AI 생성 콘텐츠를 실제 콘텐츠로 식별합니다. "AI 생성 텍스트를 감지하는 기성품 도구를 사용하면 영어가 모국어가 아닌 사람이 쓴 영어를 감지하고 영어가 모국어가 아닌 사람이 쓴 글을 실제로 AI라고 가정하는 경향이 있습니다."라고 Diya는 말합니다. "특정 데이터로 훈련되지 않았기 때문에 거짓 양성이 많습니다."
하지만 모델이 서양 국가에서 덜 흔한 악센트, 언어, 구문 또는 얼굴을 인식하지 못하는 것만은 아닙니다. "초기 딥페이크 감지 도구의 대부분은 고품질 미디어에서 훈련되었습니다."라고 Gregory는 말합니다. 하지만 아프리카를 포함한 세계 대부분 지역에서는 축소된 기능을 제공하는 저렴한 중국 스마트폰 브랜드가 시장을 지배합니다. 이러한 휴대전화에서 생성할 수 있는 사진과 비디오는 품질이 훨씬 낮아 감지 모델을 더욱 혼란스럽게 한다고 Ngamita는 말합니다.
그레고리는 일부 모델이 너무 민감해서 오디오의 배경 소음이나 소셜 미디어용 비디오 압축조차도 거짓 양성 또는 거짓 음성을 초래할 수 있다고 말합니다. "하지만 그것은 바로 현실 세계에서 마주치는 상황, 즉 거칠고 난폭한 탐지입니다."라고 그는 말합니다. 대부분의 언론인, 사실 확인자, 시민 사회 구성원이 접근할 가능성이 높은 무료 공개 도구는 "훈련 데이터에 표현된 사람의 불평등과 이 낮은 품질의 자료를 처리하는 과제를 다루는 측면에서 매우 부정확한 도구"이기도 합니다.
생성적 AI는 조작된 미디어를 만드는 유일한 방법은 아닙니다. 소위 싸구려 가짜 , 즉 오해의 소지가 있는 라벨을 추가하거나 오디오와 비디오를 단순히 느리게 하거나 편집하여 조작된 미디어도 남반구에서 매우 흔하지만, 잘못된 모델이나 훈련되지 않은 연구자에 의해 AI 조작으로 잘못 표시될 수 있습니다.
디야는 미국과 유럽 외의 콘텐츠를 AI로 생성한 것으로 표시할 가능성이 더 높은 도구를 사용하는 그룹이 정책 수준에서 심각한 반향을 일으킬 수 있다고 우려하며, 입법자들이 상상의 문제를 단속하도록 독려합니다. 그녀는 "그런 종류의 숫자를 부풀리는 측면에서 엄청난 위험이 있습니다."라고 말합니다. 그리고 새로운 도구를 개발하는 것은 버튼을 누르는 것과는 전혀 다릅니다.
다른 모든 형태의 AI와 마찬가지로 탐지 모델을 구축, 테스트 및 실행하려면 전 세계 대부분에서 사용할 수 없는 에너지와 데이터 센터에 대한 액세스가 필요합니다. 가나에 거주하는 Ngamita는 "여기서 AI와 로컬 솔루션에 대해 이야기한다면, 우리가 생각해 내는 모델을 실행하는 것조차 컴퓨팅 측면 없이는 거의 불가능합니다."라고 말합니다. 로컬 대안이 없다면 Ngamita와 같은 연구자는 몇 가지 옵션만 남습니다. Reality Defender에서 제공하는 것과 같은 기성품 도구에 대한 액세스 비용을 지불해야 하며, 그 비용은 엄청날 수 있습니다. 부정확한 무료 도구를 사용하거나 학술 기관을 통해 액세스를 시도합니다.
현재 Ngamita는 그의 팀이 검증을 위해 콘텐츠를 보낼 수 있는 유럽 대학과 협력해야 했다고 말합니다. Ngamita의 팀은 대륙 전역에서 가능한 딥페이크 사례의 데이터 세트를 수집해 왔으며, 이는 모델의 데이터 세트를 다양화하려는 학계와 연구자에게 가치가 있다고 그는 말합니다.
하지만 다른 사람에게 데이터를 보내는 것에도 단점이 있습니다. "지연 시간이 상당히 큽니다."라고 디야는 말합니다. "누군가가 이것이 AI가 생성한 것이라고 자신 있게 말할 수 있을 때까지 적어도 몇 주가 걸리고, 그때쯤이면 해당 콘텐츠에 피해가 이미 발생했습니다."
그레고리는 자체적인 신속 대응 탐지 프로그램을 운영하는 Witness가 "엄청난 수"의 사례를 접수한다고 말합니다. 그는 "최전선 기자들이 필요로 하는 시간 범위 내에서, 그리고 그들이 마주치기 시작한 거래량 으로, 이미 이런 사례를 처리하는 것은 어려운 일입니다."라고 말합니다.
하지만 디야는 탐지에 너무 집중하면 전반적으로 더 회복성 있는 정보 생태계를 만드는 조직과 기관에서 자금과 지원이 분산될 수 있다고 말합니다. 대신 그녀는 자금이 대중의 신뢰감을 불러일으킬 수 있는 뉴스 매체와 시민 사회 조직으로 가야 한다고 말합니다. "저는 돈이 거기에 쓰이고 있다고 생각하지 않습니다." 그녀는 말합니다. "저는 탐지에 더 많이 쓰이고 있다고 생각합니다."
