지난 3년간 사이버 보안 회사, 정부, 그리고 AI 연구소들은 생성형 AI가 초강력 해커들을 양산할 것이라고 경고해 왔습니다. 실제로 이를 조사한 새로운 학술 논문에 따르면, 이러한 초강력 해커들은 주로 ChatGPT를 이용해 스팸 메일을 작성하거나 재미 삼아 누드 이미지를 생성하는 데 사용하고 있는 것으로 나타났습니다.
'독립형 복합체인가, 아니면 바이버 범죄인가?' 라는 제목의 이 연구는 케임브리지 대학교를 비롯한 여러 대학의 연구원들이 arXiv에 발표했으며, 사이버 보안 업체들이 주장하는 방식이 아닌 사이버 범죄 조직이 실제로 인공지능을 어떻게 활용하고 있는지를 파악하는 것을 목표로 합니다.
연구진은 "본 연구는 사이버 범죄 세계에서 인공지능(GenAI) 도입 초기 양상을 분석하기 위한 혼합 방법론적 실증 연구의 첫 시도 중 하나"라고 밝혔다.
연구팀은 캠브리지 사이버범죄센터의 CrimeBB 데이터셋(언더그라운드 및 다크 웹 포럼)에서 추출한 ChatGPT가 2022년 11월 출시된 이후 게시된 97,895개의 포럼 게시글을 분석했습니다. 그들은 토픽 모델을 실행하고, 3,200개 이상의 게시글을 직접 읽고, 현장에 직접 참여하여 연구 결과를 분석했습니다.
결론은 AI 비관론자들에게는 그다지 좋지 않습니다. 표본에 포함된 게시글의 97.3%는 "기타"로 분류되었는데, 이는 실제로 AI를 범죄에 사용하는 것에 대한 내용이 전혀 아니었음을 의미합니다. 분위기 조성 코딩 도구를 사용한 게시글은 단 1.9%에 불과했습니다.
2023년에 헤드라인을 장식했던 WormGPT, FraudGPT, 그리고 악성 챗봇으로 추정되는 바이러스들을 기억하시나요? 포럼 데이터는 다른 이야기를 들려줍니다.
연구원들이 발견한 바에 따르면, "다크 AI" 제품에 대한 대부분의 게시물은 무료 접근을 요구하는 글, 근거 없는 추측, 그리고 도구가 실제로 작동하지 않는다는 불만으로 가득 차 있었습니다. 인기 있는 다크 AI 서비스 개발자 중 한 명은 결국 포럼 회원들에게 해당 제품이 마케팅 전략이었다고 인정했습니다.
개발자는 프로젝트가 중단되기 전 "결국 [CybercrimeAI]는 제한 없는 ChatGPT에 지나지 않습니다."라고 썼습니다. "인터넷상의 누구든 잘 알려진 탈옥 기술을 사용하여 동일하거나 더 나은 결과를 얻을 수 있습니다."
연구진에 따르면 2024년 말쯤이면 주류 모델의 탈옥은 일회용이 될 것이라고 합니다. 대부분은 일주일도 안 되어 작동을 멈춥니다. 오픈소스 모델은 무기한으로 탈옥할 수 있지만, 속도가 느리고 리소스를 많이 소모하며 개발이 중단되는 단점이 있습니다.
저자들은 "인공지능 시스템을 위한 안전장치가 유용하고 효과적이라는 것이 입증되고 있다"고 결론지었는데, 이는 비판적인 논문에서 나온 결론으로는 다소 역설적이라고 그들 스스로도 언급했다.
이 논문은 언론에 널리 보도된 앤트로픽의 2025년 8월 보고서, 즉 클로드 코드가 17개 조직을 대상으로 "바이브 해킹" 협박 캠페인을 벌이는 데 사용되었다는 주장을 직접적으로 다루고 있습니다. 케임브리지 연구팀의 데이터는 더 넓은 지하 세계에서 그러한 패턴을 보여주지 않습니다.
연구 대상 포럼에서 AI 코딩 도우미는 일반 개발자들이 사용하는 방식과 동일하게 사용되고 있습니다. 즉, 이미 숙련된 코더들이 자동 완성 기능이나 스택 오버플로우를 대체하는 용도로 활용되는 것입니다. 숙련도가 낮은 사용자들은 미리 만들어진 스크립트를 고수하는데, 그 이유는 미리 만들어진 스크립트가 효과적이기 때문입니다.
연구진은 심지어 해커들조차 자신들이 개발한 AI 기반 해킹 도구를 신뢰하지 않는다는 사실을 발견했습니다. 연구진이 모니터링하는 포럼에서 한 사용자는 "AI 기반 코딩은 양날의 검과 같습니다. 개발 속도는 빨라지지만, 보안이 취약한 코드나 공급망 취약점과 같은 위험도 증폭시킵니다."라고 말했습니다.
또 다른 사람은 장기적인 기술 손실에 대해 경고했습니다. 한 해커는 포럼에 "AI를 코딩에 사용하는 것은 기술 수준을 매우 빠르게 저하시킨다는 것이 이제 분명해졌습니다."라며, "만약 당신의 목표가 단순히 SaaS 사기를 만들어내는 것이고 코드 품질/보안/성능에 신경 쓰지 않는다면 AI를 이용한 코딩도 가능할 수 있습니다. (피싱에도 적합해 보입니다.)"라고 썼습니다.
이는 유럽연합 경찰기구 (유로폴)가 2025년에 완전 자율 인공지능이 언젠가 범죄 조직을 장악할 수 있다고 경고했던 과장된 예측 과는 극명한 대조를 이룹니다.
혼란이 나타날 때는 먹이사슬의 가장 밑바닥에서 나타납니다.
SEO 사기꾼들은 광고 수익 감소를 틈타 대량으로 블로그 스팸을 생산하기 위해 LLM(로봇 학습)을 이용하고 있습니다. 로맨스 사기꾼과 온라인 성매매 업자들은 음성 복제와 이미지 생성 기술을 접목하고 있습니다. 벼락부자가 되려는 사기꾼들은 AI가 작성한 전자책을 권당 20달러에 판매하고 있습니다.
연구원들이 발견한 가장 충격적인 시장은 누드 이미지 생성 서비스와 관련된 것이었다. 한 업체는 "인공지능으로 어떤 여성이든 누드 이미지로 만들어 드립니다... 사진 1장 = 1달러, 10장 = 8달러, 50장 = 40달러, 90장 = 75달러"라고 광고했다.
이 모든 것은 정교한 사이버 범죄가 아닙니다. 이는 지난 20년간 스팸 산업을 지탱해 온 저마진 고용량 수법과 다름없으며, 단지 조금 더 발전된 도구를 사용할 뿐입니다.
연구진의 마지막 관찰은 가장 날카로운 지적입니다. 인공지능이 사이버 범죄 생태계를 교란하는 가장 큰 방식은 범죄자들의 능력을 향상시키는 것이 아니라, 합법적인 기술 회사에서 해고된 개발자들이 일자리를 찾아 지하 세계로 내몰리는 것일 수 있다고 그들은 주장합니다.
"최근 몇 달 동안 이러한 도구로 인한 노동 시장 혼란에 대한 불안감이 급격히 증가하고 있습니다."라고 보고서는 지적합니다. "이는 생성형 AI 도구가 사이버 범죄 생태계를 교란하는 가장 중요한 방식이 될 수 있습니다. 대규모 해고, 경기 침체, 그리고 불안정한 고용 시장으로 인해 숙련된 개발자들이 단기간에 큰돈을 벌려는 사기, 사이버 범죄와 같은 불법적인 활동에 가담하게 되는 것입니다."
