원창 | 오데일리 (Odaily)(@OdailyChina)
저자 | Azuma（@azuma_eth）
GM 11월 22일 오전, 슬로우 미스트 (SlowMist) 창립자 Yu Chao는 개인 X에 기이한 사례를 게시했습니다 - 어떤 사용자의 지갑이 AI에 의해 "해킹"되었다고 합니다...
이 사건의 경위는 다음과 같습니다.
오늘 새벽, X 사용자 r_ocky.eth는 이전에 ChatGPT를 사용하여 pump.fun의 보조 거래 봇을 구축하려고 했다고 밝혔습니다.
r_ocky.eth는 ChatGPT에 자신의 요구 사항을 제공했고, ChatGPT는 그에게 코드를 반환했습니다. 이 코드는 r_ocky.eth의 요구 사항에 부합하는 봇을 배포하는 데 도움이 될 수 있었지만, 그는 코드에 피싱 내용이 숨겨져 있다는 것을 전혀 예상하지 못했습니다 - r_ocky.eth는 자신의 주 지갑을 연결했고 결과적으로 2,500달러를 잃었습니다.
r_ocky.eth가 게시한 스크린샷에 따르면, ChatGPT가 제공한 코드는 피싱 성격의 API 웹사이트로 주소 개인 키를 전송합니다, 이것이 도난의 직접적인 원인입니다.
r_ocky.eth가 함정에 빠진 후, 공격자는 매우 빨리 반응했고 30분 내에 r_ocky.eth 지갑의 모든 자산을 다른 주소(FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX)로 이체했습니다. 이후 r_ocky.eth는 온체인 추적을 통해 공격자의 것으로 추정되는 주 지갑 주소(2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC)를 찾아냈습니다.
온체인 정보에 따르면, 이 주소에는 현재 10만 달러 이상의 "범죄 수익"이 집계되어 있으며, r_ocky.eth는 이러한 공격이 단독 사례가 아닐 것이라고 의심하고 있습니다.
사후에 r_ocky.eth는 OpenAI(ChatGPT 개발 회사)에 대한 신뢰를 잃었다고 실망스럽게 말했으며, OpenAI가 빨리 비정상적인 피싱 내용을 정리해 줄 것을 촉구했습니다.
그렇다면 현재 가장 인기 있는 AI 애플리케이션인 ChatGPT는 어떻게 피싱 내용을 제공하게 되었을까요?
이에 대해 Yu Chao는 이번 사건의 근본 원인을 "AI 투독 공격"으로 규정했으며, ChatGPT, Claude 등 LLM에 일반적인 사기 행위가 존재한다고 지적했습니다.
"AI 투독 공격"이란 AI 학습 데이터를 의도적으로 훼손하거나 AI 알고리즘을 조작하는 행위를 말합니다. 공격자는 내부 인사, 예를 들어 불만을 품은 현직 또는 전직 직원일 수 있고, 외부 해커일 수도 있습니다. 그들의 동기는 평판과 브랜드 손상, AI 의사 결정의 신뢰성 조작, AI 프로세스 지연 또는 파괴 등일 수 있습니다. 공격자는 오해의 소지가 있는 레이블이나 특징이 있는 데이터를 삽입하여 모델의 학습 과정을 왜곡시킬 수 있으며, 이로 인해 배포 및 운영 시 잘못된 결과가 발생할 수 있습니다.
이번 사건을 고려하면, ChatGPT가 r_ocky.eth에게 피싱 코드를 제공한 것은 AI 모델이 피싱 내용이 포함된 데이터로 학습되었기 때문일 가능성이 높고, AI는 일반 데이터 속에 숨겨진 피싱 내용을 식별하지 못했으며, 이후 이를 사용자에게 제공하면서 이번 사건이 발생했습니다.
AI의 빠른 발전과 광범위한 채택으로 "투독 공격"의 위협이 점점 더 커지고 있습니다. 이번 사건에서 손실 금액은 크지 않지만, 이러한 위험의 파급 효과는 경계할 만합니다 - 예를 들어 AI 보조 운전 분야에서 발생한다면...
네티즌의 질문에 답변하면서 Yu Chao는 이러한 위험을 완화할 수 있는 한 가지 방안으로 ChatGPT에 코드 감사 메커니즘을 추가하는 것을 언급했습니다.
피해자 r_ocky.eth도 이 사건에 대해 OpenAI에 연락했지만 아직 답변을 받지 못했다고 말했습니다. 그는 이 사례가 OpenAI가 이러한 위험에 주목하고 잠재적인 해결책을 제시하는 계기가 되기를 희망하고 있습니다.
