구글의 위협 인텔리전스 그룹에 따르면, 사이버 범죄자들이 인공지능 모델을 이용해 인기 있는 오픈소스 웹 관리 도구의 제로데이 취약점을 발견하고 이를 악용했습니다.
월요일에 발표된 보고서 에서 구글은 해당 취약점으로 인해 공격자들이 2단계 인증을 우회할 수 있었으며, 구글이 개입하기 전 공격자들이 대규모 악용 캠페인을 준비하고 있었다고 경고했습니다. 구글이 인공지능(AI)을 이용한 제로데이 취약점 개발을 실제 환경에서 확인했다고 밝힌 것은 이번이 처음입니다.
구글은 "AI 모델의 코딩 능력이 발전함에 따라, 공격자들이 취약점 연구 및 익스플로잇 개발, 특히 제로데이 취약점 공격을 위해 이러한 도구를 전문가 수준의 공격력 증강 수단으로 점점 더 많이 활용하는 것을 계속해서 목격하고 있다"고 밝혔습니다. "이러한 도구들은 방어 연구를 강화하는 동시에, 공격자들이 애플리케이션을 역설계하고 정교한 AI 기반 익스플로잇을 개발하는 데 대한 장벽을 낮추기도 합니다."
이번 보고서는 연구원들과 정부들이 AI 모델이 해커들이 취약점을 찾아내고, 악성 소프트웨어를 생성하고, 익스플로잇 개발을 자동화하는 데 도움을 줌으로써 사이버 공격을 가속화하고 있다고 경고하는 가운데 나왔습니다.
"최첨단 LLM(논리 기반 모델)은 복잡한 기업 인증 로직을 처리하는 데 어려움을 겪고 있지만, 상황적 추론 능력이 점차 향상되고 있습니다. 이를 통해 개발자의 의도를 파악하고 2FA(이중 인증) 적용 로직과 하드코딩된 예외의 모순을 연관시킬 수 있습니다."라고 보고서는 밝혔습니다. "이러한 기능을 통해 모델은 기존 스캐너에서는 기능적으로 올바르게 보이지만 보안 관점에서 전략적으로 결함이 있는 숨겨진 논리 오류를 찾아낼 수 있습니다."
구글에 따르면, 익명의 공격자들은 인공지능(AI)을 이용해 소프트웨어가 2단계 인증 보호 기능을 우회하는 조건을 신뢰하는 논리적 결함을 찾아냈습니다. 기존의 스캐너는 깨진 코드나 오류를 찾는 데 그치지만, 이 AI는 소프트웨어의 작동 방식을 분석하여 모순을 감지했고, 이를 통해 공격자들은 암호화 자체를 해제하지 않고도 보안 검사를 우회할 수 있었습니다.
구글은 "AI 기반 코딩은 적들이 인프라 스위트와 다형성 악성코드를 개발하는 속도를 가속화했다"며, "이러한 AI 기반 개발 주기는 난독화 네트워크 구축과 AI로 생성된 미끼 논리를 악성코드에 통합하는 것을 가능하게 함으로써 방어 회피를 용이하게 한다. 우리는 이러한 악성코드가 러시아와 연계된 것으로 의심되는 위협 행위자들과 연관되어 있다고 판단했다"고 밝혔다.
보고서에 따르면 중국 과북한 의 위협 행위자들은 AI를 사용하여 소프트웨어 취약점을 찾아내고 있으며, 러시아 그룹은 AI를 사용하여 악성 소프트웨어를 숨기고 있다고 합니다.
구글은 "이러한 공격자들은 인공지능으로 강화된 취약점 발견 및 악용을 위해 정교한 접근 방식을 활용해 왔으며, 여기에는 페르소나 기반의 탈옥 시도와 특수 고품질 보안 데이터 세트 통합을 통해 취약점 발견 및 악용 워크플로를 강화하는 것이 포함됩니다."라고 밝혔습니다.
구글의 보고서는 AI 기반 사이버 공격의 위험성 증가에 대해 경고하는 것을 목표로 했지만, 일부 연구자들은 이러한 우려가 과장되었다고 주장합니다. 케임브리지 대학교가 주도한 별도의 연구 에서는 9만 건 이상의 사이버 범죄 포럼 게시글을 분석한 결과, 대부분의 범죄자들이 정교한 사이버 공격을 위한 코딩 보다는 스팸 및 피싱에 AI를 사용하고 있는 것으로 나타났습니다.
"탈옥된 LLM(다크 AI)의 강사 역할은 과장된 측면이 있는데, 이는 입문 과정에서 하위문화와 사회적 학습이 매우 중요하기 때문입니다. 신규 사용자는 해킹 및 사이버 범죄 기술 학습에 수반되는 사회적 관계와 공동체 의식을 지식 자체만큼이나 중요하게 여깁니다."라고 연구는 지적했습니다. "따라서 초기 연구 결과는 바이버 범죄자의 증가를 한탄하는 것조차 현재까지의 혼란 수준을 과장하는 것일 수 있음을 시사합니다."
하지만 케임브리지 대학의 조사 결과에도 불구하고, 위협 인텔리전스 그룹의 보고서는 구글이 AI 기반 도구와 관련된 보안 문제에 직면한 시점에 나왔습니다. 지난 4월, 구글은 자사의 안티그래비티(Antigravity) AI 코딩 플랫폼에서 프롬프트 주입 취약점을 패치했는데 , 연구원들은 이 취약점을 통해 공격자가 조작된 프롬프트를 이용해 개발자의 컴퓨터에서 명령을 실행할 수 있다고 지적했습니다.
구글 연구진은 " 제미니(Gemini) 사용되었다고는 생각하지 않지만, 이러한 공격의 구조와 내용을 바탕으로 볼 때 공격자가 인공지능 모델을 활용하여 이 취약점을 발견하고 악용했을 가능성이 매우 높다고 확신한다"고 밝혔습니다.
올해 초, 앤트로픽은 자사의 클로드 미토스 모델이 수천 건의 알려지지 않은 소프트웨어 결함을 식별할 수 있다는 테스트 결과가 나온 후 해당 모델에 대한 접근을 제한했습니다. 이러한 결과는 AI 모델이 방어자와 공격자 모두가 취약점을 더 빠르게 찾아낼 수 있도록 도와줌으로써 사이버 보안의 판도를 바꾸고 있다는 우려를 더욱 증폭시키고 있습니다.
모질라는 4월 블로그 게시물에서 "이러한 기능들이 더 많은 방어팀의 손에 들어가면서, 많은 팀들이 처음 이러한 발견이 알려졌을 때 우리가 느꼈던 것과 같은 어지럼증을 경험하고 있습니다."라고 썼습니다. "견고한 목표물에게 2025년에는 이러한 버그 하나만 있어도 심각한 위협이 되었을 텐데, 이렇게 많은 버그가 한꺼번에 발생하니 과연 대응이 가능한지 의문이 들 정도입니다."
