목요일 과학 저널 '사이언스'에 발표된 새로운 보고서 에 따르면, 쉽게 탐지할 수 있는 봇넷 시대가 저물고 있다. 연구진은 이번 연구에서 허위 정보 유포 캠페인이 인간의 행동을 모방하고 실시간으로 적응하며 인간의 감독이 거의 필요 없는 자율적인 AI 집단으로 진화하고 있다고 경고하며, 이로 인해 탐지 및 차단 노력이 더욱 어려워지고 있다고 지적했다.
옥스퍼드, 케임브리지, UC 버클리, 뉴욕대, 막스 플랑크 연구소 등 여러 연구진이 참여한 컨소시엄이 작성한 이 논문은 조작을 식별하기가 점점 더 어려워지는 디지털 환경을 설명합니다. 이러한 AI 캠페인은 선거 또는 정치와 관련된 숏 활동이 아니라, 더 오랜 기간에 걸쳐 특정 서사를 유지할 수 있습니다.
연구진은 "정부의 손에 이러한 도구가 들어가면 반대 의견을 억압하거나 기득권층의 목소리를 증폭시킬 수 있다"며, "따라서 방어용 AI의 도입은 엄격하고 투명하며 민주적으로 책임 있는 체계 하에서만 고려될 수 있다"고 썼다.
스웜(Swarm) 은 여러 자율적인 AI 에이전트들이 협력하여 문제를 해결하거나 목표를 달성하는 그룹으로, 단일 시스템보다 훨씬 효율적으로 작동합니다. 연구진은 AI 스웜이 소셜 미디어 플랫폼의 기존 약점, 즉 사용자들이 반대 의견에 쉽게 노출되지 않는다는 점을 활용한다고 밝혔습니다.
"가짜 뉴스는 진짜 뉴스보다 더 빠르고 광범위하게 퍼져나가 파편화된 현실을 심화시키고 공유된 사실적 기준을 약화시키는 것으로 나타났습니다."라고 그들은 썼습니다. "최근 증거에 따르면 참여도 최적화 큐레이션이 양극화를 초래하며, 플랫폼 알고리즘이 사용자 만족도를 희생시키면서까지 분열적인 콘텐츠를 증폭시켜 공론장을 더욱 악화시키고 있습니다."
남캘리포니아대학교 컴퓨터공학과 교수이자 사하라 AI의 CEO인 션 렌(Ren) 은 이러한 변화가 주요 플랫폼에서 이미 나타나고 있으며, AI 기반 계정과 일반 사용자를 구분하기가 점점 더 어려워지고 있다고 말했습니다.
렌(Ren) 디크립트(Decrypt) 의 인터뷰에서 "더 엄격한 고객 확인 절차(KYC) , 즉 계정 신원 확인 절차가 큰 도움이 될 것이라고 생각합니다."라고 말했습니다. "새 계정을 만들기 어렵게 만들고 스팸 발송자를 감시하기 쉽게 만들면, 해커들이 조직적으로 여러 계정을 이용해 조작하는 것이 훨씬 어려워질 것입니다."
이전의 영향력 행사 캠페인은 미묘함보다는 규모에 크게 의존했으며, 수천 개의 계정이 동시에 동일한 메시지를 게시하여 탐지가 비교적 용이했습니다. 이와 대조적으로, AI 집단은 "전례 없는 자율성, 조정 능력 및 규모"를 보여준다고 연구는 밝혔습니다.
렌(Ren) 콘텐츠 검열만으로는 이러한 시스템을 막기 어려울 것이라고 말했다. 그는 문제는 플랫폼이 대규모로 신원을 관리하는 방식이라고 지적했다. 더욱 강화된 신원 확인과 계정 생성 제한을 통해 개별 게시물이 사람이 작성한 것처럼 보이더라도 조직적인 행위를 더 쉽게 탐지할 수 있을 것이라고 그는 덧붙였다.
"만약 담당자가 콘텐츠 게시를 위해 사용할 수 있는 계정 수가 적다면, 의심스러운 사용을 감지하고 해당 계정을 차단하는 것이 훨씬 쉬워집니다."라고 그는 말했다.
연구진은 통계적으로 비정상적인 공모를 더 잘 감지하고 자동화된 활동에 대한 투명성을 높이는 등의 방안을 고려할 수 있지만, 이 문제에 대한 단 하나의 해결책은 없으며 기술적 조치만으로는 충분하지 않을 것이라고 결론지었습니다.
렌(Ren) 에 따르면, 플랫폼들이 새로운 기술적 안전장치를 도입하고 있음에도 불구하고, 금전적 유인은 여전히 조직적인 조작 공격의 주요 원인으로 남아 있다.
그는 "이러한 에이전트 집단은 대개 외부 기관이나 기업으로부터 금전적 인센티브를 받고 조직적인 계정 조작을 수행하는 팀이나 업체에 의해 통제된다"며, "플랫폼은 에이전트 조작 계정을 식별하고 차단하기 위해 더욱 강력한 고객 확인 절차(KYC)( 고객 신원 확인) 및 스팸 탐지 메커니즘을 시행해야 한다"고 말했다.
