작성자: Azuma, Odaily 星球日報
2022년 11월 22일 오전, 슬로우 미스트(慢雾) 창립자 Yu Qian은 개인 X에 이상한 사례를 게시했습니다 - 어떤 사용자의 지갑이 AI에 의해 "해킹"되었다고 합니다...
이 사건의 경과는 다음과 같습니다.
오늘 새벽, X 사용자 r_ocky.eth는 이전에 ChatGPT를 이용해 pump.fun의 보조 거래 봇을 만들고자 했다고 밝혔습니다.
r_ocky.eth는 ChatGPT에게 자신의 요구사항을 전달했고, ChatGPT는 그에게 코드를 보내주었습니다. 이 코드는 r_ocky.eth의 요구사항을 충족시킬 수 있었지만, 그는 코드 안에 피싱 내용이 숨겨져 있다는 것을 전혀 예상하지 못했습니다 - r_ocky.eth는 자신의 메인 지갑을 연결했고, 결과적으로 2,500달러를 잃게 되었습니다.
r_ocky.eth가 올린 스크린샷을 보면, ChatGPT가 제공한 코드는 피싱 성격의 API 웹사이트로 주소 비밀키를 전송하도록 되어 있었고, 이것이 도난의 직접적인 원인이었습니다.
r_ocky.eth가 함정에 빠진 후, 공격자는 매우 빠르게 반응하여 30분 만에 r_ocky.eth 지갑의 모든 자산을 다른 주소(FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX)로 이체했습니다. 이후 r_ocky.eth는 온체인 추적을 통해 공격자의 추정 메인 지갑 주소(2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC)를 찾아냈습니다.
온체인 정보에 따르면, 해당 주소에는 현재 10만 달러 이상의 "범죄 수익"이 모여 있는 것으로 나타났습니다. r_ocky.eth는 이 공격이 단독 사례가 아닐 것이라 의심하고 있습니다.
사후에 r_ocky.eth는 OpenAI(ChatGPT 개발사)에 대한 신뢰를 잃었다고 실망스럽게 말했으며, OpenAI가 빨리 이상한 피싱 내용을 정리해 줄 것을 요구했습니다.
그렇다면 현재 가장 인기 있는 AI 애플리케이션인 ChatGPT는 어떻게 피싱 내용을 제공하게 되었을까요?
이에 대해 Yu Qian은 이번 사건의 근본 원인을 "AI 투毒 공격"으로 규정했고, ChatGPT, Claude 등 대형 언어 모델(LLM)에 일반적인 사기 행위가 존재한다고 지적했습니다.
"AI 투毒 공격"이란 AI 학습 데이터를 의도적으로 훼손하거나 AI 알고리즘을 조작하는 행위를 말합니다. 공격자는 내부 인사일 수도 있고 외부 해커일 수도 있으며, 평판 및 브랜드 손상, AI 의사결정의 신뢰도 저하, AI 프로세스 지연 또는 파괴 등이 동기가 될 수 있습니다. 공격자는 오해를 불러일으킬 수 있는 데이터를 삽입하여 모델의 학습 과정을 왜곡시킬 수 있습니다.
이번 사건을 보면, ChatGPT가 r_ocky.eth에게 피싱 코드를 제공한 것은 아마도 AI 모델이 학습 과정에서 피싱 내용이 포함된 데이터에 노출되었기 때문이며, AI는 일반 데이터 속에 숨겨진 피싱 내용을 식별하지 못했고, 결국 그것을 사용자에게 제공하면서 이 사건이 발생한 것으로 보입니다.
AI의 빠른 발전과 광범위한 채택에 따라 "투毒 공격"의 위협도 점점 커지고 있습니다. 이번 사건에서 실제 손실 금액은 크지 않지만, 이런 위험의 파급 효과는 경계해야 합니다 - 예를 들어 AI 운전 보조 시스템에서 이런 일이 발생한다면...
네티즌의 질문에 답하면서, Yu Qian은 이런 위험을 방지하기 위한 한 가지 방법으로 ChatGPT에 코드 검증 메커니즘을 추가하는 것을 제안했습니다.
피해자 r_ocky.eth도 이 사건에 대해 OpenAI에 연락했지만, 아직 답변을 받지 못했다고 말했습니다. 하지만 그는 이 사건이 OpenAI가 이런 위험을 중요하게 여기고 잠재적인 해결책을 제시하는 계기가 되기를 희망하고 있습니다.
