Brave Software는 Perplexity AI의 Comet 브라우저에서 보안 결함을 발견했는데, 이를 통해 공격자가 AI 도우미를 속여 개인 사용자 데이터를 유출시킬 수 있는 방법이 밝혀졌습니다.
8월 20일에 공개된 개념 증명 데모 에서 Brave 연구원들은 Reddit 댓글 안에 숨겨진 명령어를 발견했습니다. Comet의 AI 비서가 페이지를 요약해 달라는 요청을 받았을 때, 단순히 요약만 하는 것이 아니라 숨겨진 명령어를 따랐습니다.
당혹감은 이번 발견의 심각성에 의문을 제기했습니다. 대변인은 디크립트(Decrypt) 이 문제가 "누군가 알아차리기 전에 패치되었다"고 말하며 사용자 데이터가 유출되지 않았다고 밝혔습니다. 대변인은 "우리는 매우 강력한 현상금 프로그램을 운영하고 있습니다."라고 덧붙였습니다. "우리는 Brave와 직접 협력하여 문제를 파악하고 해결했습니다."
자체 에이전트 브라우저를 개발 중인 Brave는 해당 결함이 패치가 적용된 지 몇 주가 지난 후에도 여전히 악용될 수 있다고 주장했으며 Comet의 설계상 추가 공격에 취약하다고 주장했습니다.
브레이브는 이 취약점이 코멧과 같은 에이전트 브라우저가 웹 콘텐츠를 처리하는 방식에 기인한다고 밝혔습니다. 보고서는 "사용자가 페이지 요약을 요청하면 코멧은 사용자의 지시와 신뢰할 수 없는 콘텐츠를 구분하지 않고 해당 페이지의 일부를 언어 모델에 직접 제공합니다."라고 설명했습니다. "이를 통해 공격자는 AI가 마치 사용자가 입력한 것처럼 실행할 숨겨진 명령을 내장할 수 있습니다."
신속한 주입: 오래된 아이디어, 새로운 목표
이러한 유형의 익스플로잇은 '즉각 주입 공격'으로 알려져 있습니다. 사람을 속이는 대신, 일반 텍스트에 명령어를 숨겨 AI 시스템을 속입니다.
Reveal Security 의 수석 해커인 매튜 멀린스는 디크립트(Decrypt) "SQL 인젝션, LDAP 인젝션, 명령 인젝션 등 기존의 인젝션 공격과 유사합니다."라고 말했습니다. "개념은 새로운 것은 아니지만, 공격 방식이 다릅니다. 구조화된 코드 대신 자연어를 활용하는 것이죠."
보안 연구원들은 AI 시스템의 자율성이 높아짐에 따라 즉각적인 주입이 심각한 문제가 될 수 있다고 수개월 동안 경고해 왔습니다. 5월, 프린스턴 대학 연구원들은 악성 정보를 AI의 메모리에 저장한 후 마치 실제 정보인 것처럼 행동하는 "메모리 주입" 공격을 통해 암호화 AI 에이전트를 조작하는 방법을 보여주었습니다 .
' 즉각 주입(prompt injection)' 이라는 용어를 만든 개발자 사이먼 윌리슨조차도 이 문제가 Comet에만 국한되지 않는다고 말했습니다. 그는 X에 "브레이브 보안팀이 Comet의 심각한 즉각 주입 취약점을 보고했지만, 브레이브 자체적으로도 비슷한 문제를 겪을 가능성이 높은 유사한 기능을 개발하고 있습니다." 라고 게시했습니다 .
Brave의 개인정보 보호 및 보안 담당 부사장인 시반 사히브는 곧 출시될 브라우저에 "간접적인 즉흥 주입 위험을 줄이는 데 도움이 되는 일련의 완화 조치"가 포함될 것이라고 말했습니다.
"에이전트 브라우징을 별도의 저장 공간과 브라우징 세션으로 분리하여 사용자가 실수로 자신의 은행 정보 및 기타 민감한 데이터에 대한 접근 권한을 에이전트에게 부여하는 상황을 방지할 계획입니다."라고 그는 디크립트(Decrypt) 전했습니다. "곧 자세한 내용을 공유하겠습니다."
더 큰 위험
Comet 데모는 더 광범위한 문제를 보여줍니다. AI 에이전트는 강력한 권한은 부여되지만 보안 제어는 취약합니다. 대규모 언어 모델은 명령을 잘못 해석하거나 너무 문자 그대로 따를 수 있기 때문에 숨겨진 프롬프트에 특히 취약합니다.
"이런 모델들은 환각을 볼 수 있어요." 멀린스가 경고했다. "완전히 엉뚱한 방향으로 갈 수도 있어요. '트위즐러에서 제일 좋아하는 맛은 뭐예요?'라고 물어보고, 직접 총을 만드는 방법을 알려주는 것처럼요."
AI 에이전트가 이메일, 파일, 실시간 사용자 세션에 직접 접근할 수 있게 되면서 위험 부담이 커지고 있습니다. 멀린스는 "모두가 모든 것에 AI를 접목하고 싶어 합니다."라고 말했습니다. "하지만 아무도 모델에 어떤 권한이 있는지, 유출 시 어떤 일이 발생하는지 테스트하지 않습니다."
