AI 에이전트들은 수백만 달러의 암호화폐를 관리하면서 메모리를 조작하여 악의적인 행위자에게 무단 이체를 가능하게 하는 새로운 탐지 불가능한 공격에 취약합니다.
프린스턴 대학과 센티언트 재단의 연구자들이 최근 발표한 연구에 따르면, 인기 있는 엘리자OS 프레임워크와 같은 암호화폐 중심 AI 에이전트에서 취약점을 발견했다고 주장합니다.
공동 저자인 프린스턴 대학원생 아타르브 패틀란에 따르면, 엘리자OS의 인기로 인해 이 연구에 완벽한 선택이 되었습니다.
"엘리자OS는 깃허브에서 약 15,000개의 별을 가진 인기 있는 웹3 기반 에이전트입니다. 그래서 널리 사용되고 있죠," 패틀란은 디크립트에 말했습니다. "널리 사용되는 에이전트에 취약점이 있다는 사실이 우리로 하여금 더 깊이 탐구하게 만들었습니다."
처음에는 ai16z로 출시된 엘리자 랩스는 2024년 10월에 프로젝트를 시작했습니다. 이는 블록체인과 상호작용하고 운영하는 AI 에이전트를 만들기 위한 오픈소스 프레임워크입니다. 이 플랫폼은 2025년 1월에 엘리자OS로 리브랜딩되었습니다.
AI 에이전트는 인간의 개입 없이 특정 목표를 달성하기 위해 환경을 인식하고, 정보를 처리하며, 행동하도록 설계된 자율 소프트웨어 프로그램입니다. 연구에 따르면, 블록체인 플랫폼에서 금융 작업을 자동화하는 데 널리 사용되는 이러한 에이전트는 "메모리 주입"을 통해 속일 수 있으며, 이는 에이전트의 지속적인 메모리에 악의적인 명령을 삽입하는 새로운 공격 벡터입니다.
"엘리자는 메모리 저장소가 있어서, 다른 소셜 미디어 플랫폼에서 누군가가 주입을 수행하여 허위 메모리를 입력해 보았습니다," 패틀란이 말했습니다.
연구에 따르면, 소셜 미디어 감성에 의존하는 AI 에이전트는 특히 조작에 취약합니다.
공격자는 시빌 공격(Sybil Attack)이라고 불리는 가짜 계정과 조정된 게시물을 사용하여 에이전트가 거래 결정을 내리도록 속일 수 있습니다.
"공격자는 X나 디스코드와 같은 플랫폼에 여러 개의 가짜 계정을 만들어 시장 감성을 조작할 수 있습니다," 연구에서는 말합니다. "토큰의 가치를 인위적으로 부풀리는 조정된 게시물을 통해 공격자는 에이전트를 속여 인위적으로 높은 가격에 '펌프된' 토큰을 구매하게 한 후, 자신의 보유분을 매도하여 토큰 가치를 폭락시킬 수 있습니다."
메모리 주입은 악의적인 데이터를 AI 에이전트의 저장된 메모리에 삽입하여 향후 상호작용에서 잘못된 정보를 기억하고 행동하도록 만드는 공격으로, 대개 비정상적인 것을 감지하지 못합니다.
패틀란은 이러한 공격이 블록체인을 직접 대상으로 하지는 않지만, 팀은 실제 공격을 시뮬레이션하기 위해 엘리자OS의 전체 기능을 탐색했다고 말했습니다.
"가장 큰 도전은 어떤 유틸리티를 악용할 수 있는지 파악하는 것이었습니다. 단순한 이체만 할 수도 있었지만, 더 현실적이게 만들기 위해 엘리자OS가 제공하는 모든 기능을 살펴보았습니다," 그는 설명했습니다.
패틀란은 연구 결과를 엘리자 랩스와 공유했으며, 현재 논의가 진행 중이라고 말했습니다. 엘리자OS에 대한 성공적인 메모리 주입 공격을 시연한 후, 팀은 다른 AI 에이전트에 유사한 취약점이 존재하는지 평가하기 위한 공식 벤치마킹 프레임워크를 개발했습니다.
센티언트 재단과 협력하여 프린스턴 연구자들은 AI 에이전트의 컨텍스트 조작 저항성을 측정하는 CrAIBench를 개발했습니다. CrAIBench는 보안 프롬프트, 추론 모델, 정렬 기술에 중점을 둔 공격 및 방어 전략을 평가합니다.
패틀란은 이 연구의 주요 교훈 중 하나는 메모리 주입에 대한 방어가 여러 수준에서 개선되어야 한다는 것이라고 말했습니다.
"메모리 시스템을 개선하는 것과 함께, 언어 모델 자체를 개선하여 악의적인 콘텐츠와 사용자가 실제로 의도한 것을 더 잘 구별해야 합니다," 그는 말했습니다. "방어는 양방향으로 작동해야 합니다 - 메모리 접근 메커니즘을 강화하고 모델을 개선하는 것입니다."
엘리자 랩스는 디크립트의 논평 요청에 즉시 응답하지 않았습니다.
편집: 세바스찬 싱클레어
