저자: Cool Geek
01 AI의 부상: 양날의 기술이라는 검 아래 벌어지는 안보 전쟁
AI 기술의 급속한 발전으로 인해 네트워크 보안에 대한 위협은 점점 더 복잡해지고 있습니다. 공격 수단이 더 효율적이고 은밀해졌을 뿐만 아니라, 새로운 형태의 "AI 해커"가 생겨나면서 다양한 유형의 네트워크 보안 위기가 발생하고 있습니다.
첫째, 생성적 AI는 온라인 사기의 '정밀성'을 재편하고 있습니다.
간단히 말해서, 기존 피싱 공격을 지능적으로 만드는 것입니다. 예를 들어, 더 정확한 시나리오에서 공격자는 공개된 소셜 데이터를 사용하여 AI 모델을 훈련시키고, 일괄적으로 개인화된 피싱 이메일을 생성하고, 특정 사용자의 글쓰기 스타일이나 언어 습관을 모방하고, "맞춤형" 사기를 실행하고, 기존 스팸 필터를 우회하여 공격의 성공률을 크게 높일 것입니다.
다음은 가장 잘 알려진 딥페이크와 신원 도용입니다. AI 기술이 성숙하기 전에는 기존의 "얼굴 바꾸기 사기 공격", 즉 BEC 사기를 "비즈니스 이메일 침해"라고 불렀습니다. 구체적으로, 공격자는 이메일 발신자를 귀하의 리더, 동료 또는 비즈니스 파트너로 위장하여 비즈니스 정보나 돈을 사기하거나 다른 중요한 정보를 얻습니다.
이제 "얼굴 바꾸기"가 실제로 일어났습니다. AI가 생성한 얼굴 및 음성 변경 기술은 공인이나 가족, 친구의 신원을 위조하는 데 사용될 수 있으며 사기, 여론 조작, 심지어 정치적 개입에도 사용될 수 있습니다. 불과 두 달 전, 상하이에 있는 한 회사의 재무이사가 "회장"으로부터 영상 회의 초대장을 받았습니다. 상대방은 AI 얼굴변조를 이용해 '해외협력 보증금'을 긴급히 납부해야 한다고 주장했습니다. 해당 사장은 지시받은 대로 지정된 계좌로 380만 위안을 이체했지만, 나중에 딥페이크 기술을 이용해 범죄를 저지른 해외 사기단이라는 사실을 알게 됐다.
세 번째는 자동화된 공격과 취약점 악용입니다. AI 기술의 발전으로 대량 시나리오가 지능화와 자동화를 향해 진화할 수 있었으며, 사이버 공격도 마찬가지입니다. 공격자는 AI를 사용하여 시스템 취약성을 자동으로 스캔하고, 동적 공격 코드를 생성하고, 대상에 대해 무차별적이고 빠른 공격을 실행할 수 있습니다. 예를 들어, AI 기반 "제로데이 공격"은 취약점을 발견한 후 즉시 악성 프로그램을 작성하고 실행하므로 기존 방어 시스템에서는 실시간으로 대응하기 어렵습니다.
올해 춘절 기간 동안 DeepSeek 공식 웹사이트는 3.2Tbps 규모의 초대형 DDoS 공격을 받았습니다. 해커는 API를 통해 적대적인 샘플을 동시에 침투하여 주입하고, 모델 가중치를 조작했으며, 핵심 서비스를 48시간 동안 마비시켰습니다. 직접적인 경제적 손실은 수천만 달러를 넘었습니다. 출처를 추적한 결과, 미국 국가안보국(NSA)이 오랫동안 침투 흔적을 숨겨왔다는 사실이 밝혀졌습니다.
데이터 오염과 모델 취약성 또한 새로운 위협으로 떠오르고 있습니다. 공격자는 AI 학습 데이터에 잘못된 정보를 심어(즉, 데이터 오염) AI가 잘못된 결과를 출력하도록 유도하거나 모델 자체의 결함을 악용할 수 있습니다. 이는 주요 지역에 직접적인 보안 위협을 초래할 수 있으며, 자율 주행 시스템이 적대적인 샘플로 인해 "진입 금지"를 "속도 제한 표지판"으로 잘못 판단하거나 의료 AI가 양성 종양을 악성 종양으로 잘못 판단하는 등 일련의 재앙적인 결과로 이어질 수도 있습니다.
02 AI는 여전히 AI 거버넌스를 필요로 합니다
새로운 AI 기반 사이버보안 위협 대면 기존의 보안 모델은 더 이상 효과적이지 않게 되었습니다. 그렇다면 우리의 대응책은 무엇일까?
현재 업계의 합의가 "AI를 이용해 AI에 맞서는 것"이라는 점을 지적하는 것은 어렵지 않습니다. 이는 기술적 수단의 업그레이드일 뿐만 아니라 보안 패러다임의 전환이기도 합니다.
기존의 시도는 크게 세 가지 범주로 나눌 수 있다. AI 모델을 위한 보안 보호 기술, 산업 수준의 방위 응용 프로그램, 그리고 보다 거시적인 수준에서의 정부 및 국제 협력이다.
AI 모델 보안 보호 기술의 핵심은 모델 자체의 보안 강화에 있습니다.
대규모 언어 모델(LLM)의 "탈옥" 취약성을 예로 들면, 일반적인 탈옥 촉진 전략으로 인해 보안 보호 메커니즘이 종종 실패합니다. 즉, 공격자가 모델의 내장된 보호 계층을 체계적으로 우회하여 AI가 폭력적이거나 차별적이거나 불법적인 콘텐츠를 생성하도록 유도하는 것입니다. LLM의 "탈옥"을 방지하기 위해 다양한 모델 회사가 시도를 했습니다. 예를 들어, Anthropic은 올해 2월에 "헌법 분류기"를 출시했습니다.
여기서 "헌법"이란 위반될 수 없는 자연어 규칙을 말합니다. 합성 데이터에 대한 학습을 위한 보호 장치로서, 허용 사항과 제한 사항을 규정하여 실시간으로 입력 및 출력 내용을 모니터링합니다. 기준 조건에서 실시한 테스트에서, 분류기의 보호를 받는 Claude3.5 모델은 고급 탈옥 시도 차단 성공률을 14%에서 95%로 높여 AI가 "탈옥"할 리스크 크게 줄였습니다.
모델 기반의 보다 일반적인 방어 방법 외에도 산업 수준의 방어 응용 프로그램도 주목할 만합니다. 수직적 분야에서 시나리오 기반 보호가 핵심적인 혁신 포인트가 되고 있습니다. 금융 산업은 AI 위험 제어 모델과 다중 모드 데이터 분석을 통해 사기 방지 장벽을 구축하고, 오픈 소스 생태계는 지능형 취약성 탐색 기술을 사용하여 제로데이 위협에 신속하게 대응합니다. 민감한 기업 정보의 보호는 AI 기반의 동적 관리 및 제어 시스템에 달려 있습니다.
예를 들어, 시스코가 싱가포르 국제 사이버 위크에서 시연된 솔루션은 직원들이 ChatGPT에 제출한 민감한 데이터 쿼리 요청을 실시간으로 가로채고, 관리 루프를 최적화하기 위해 규정 준수 감사 보고서를 자동으로 생성할 수 있습니다.
거시적 차원에서는 정부와 국제사회 간의 지역 간 협력도 가속화되고 있습니다. 싱가포르 사이버보안청은 "인공지능 시스템 보안 지침"을 발표했는데, 이는 의무적인 현지 배포 및 데이터 암호화 메커니즘을 통해 생성적 AI의 남용을 제한하고, 특히 피싱 공격에서 AI가 위조한 신원을 식별하기 위한 보호 기준을 확립합니다. 미국, 영국, 캐나다는 동시에 "AI 사이버 에이전트 프로그램"을 시작하여 신뢰할 수 있는 시스템 개발과 APT 공격에 대한 실시간 평가, 공동 보안 인증 시스템을 통한 집단 방어 역량 강화에 중점을 두었습니다.
그렇다면 AI 시대에 사이버보안 과제를 해결하기 위해 AI를 최대한 활용할 수 있는 방법은 무엇일까?
"앞으로는 AI 보안 인텔리전스 센터가 필요하고, 이를 중심으로 새로운 시스템을 구축해야 합니다." 제2회 우한 사이버보안 혁신 포럼에서 칭텅 클라우드 시큐리티의 창립자인 장푸는 AI를 사용하여 AI에 맞서는 것이 미래 사이버보안 방어 시스템의 핵심이라고 강조했습니다. "3년 안에 AI는 기존 보안 산업과 2B 산업 전체를 뒤흔들 것입니다. 전례 없는 효율성과 성능 향상을 달성하기 위해 제품들이 재구축될 것입니다. 미래의 제품은 AI를 위한 것이지, 사람을 위한 것이 아닙니다."
모든 솔루션 중에서 Security Copilot 모델은 "미래의 제품은 AI를 위한 것"이라는 좋은 예를 분명히 보여줍니다. 1년 전, Microsoft는 보안 팀이 보안 사고를 빠르고 정확하게 탐지, 조사하고 대응하는 데 도움이 되는 지능형 Microsoft Security Copilot을 출시했습니다. 한 달 전에는 피싱 공격, 데이터 보안, 신원 관리 등 핵심 분야에서 자동 지원을 제공하는 AI 에이전트를 출시했습니다.
Microsoft는 Security Copilot 기능을 확장하기 위해 자체 개발한 새로운 AI 에이전트 6개를 추가했습니다. 그 중 세 가지는 네트워크 보안 담당자가 경고를 검토하는 데 사용됩니다. 피싱 분류 에이전트는 피싱 경고를 검토하고 거짓 양성을 걸러냅니다. 나머지 두 가지는 Purview 알림을 분석하여 직원의 업무 데이터 무단 사용을 감지합니다.
조건부 액세스 최적화 에이전트는 Microsoft Entra와 협력하여 안전하지 않은 사용자 액세스 규칙을 식별하고 관리자가 구현할 수 있는 원클릭 수정 계획을 생성합니다. 취약성 해결 에이전트는 장치 관리 도구인 Intune과 통합되어 취약한 엔드포인트를 빠르게 찾아 운영 체제 패치를 적용하는 데 도움이 됩니다. 위협 인텔리전스 브리핑 에이전트는 조직의 시스템을 위협할 수 있는 사이버보안 위협에 대한 보고서를 생성합니다.
03 우샹: L4급 고수준 지능체 호위
우연히도 중국에서는 진정한 "자율 주행" 수준의 보안 보호를 달성하기 위해 Qingteng Cloud Security가 풀스택 보안 인텔리전스 엔터티인 "Wuxiang"을 출시했습니다. "지원형 AI"에서 "자율 지능"(Autopilot)으로 도약한 세계 최초의 보안 AI 제품으로서, 이 제품의 핵심 혁신은 기존 도구의 "수동적 대응" 모드를 전복하여 자율적이고 자동화되고 지능적으로 만든 데 있습니다.
"우샹"은 머신러닝(ML), 지식 그래프, 자동화된 의사결정 기술을 통합하여 위협 탐지, 영향 평가, 대응 처리의 전체 폐쇄 루프를 독립적으로 완료하여 진정한 자율적 의사결정과 목표 지향적 의사결정을 실현합니다. "에이전트 AI 아키텍처"는 인간 보안 팀의 협업 논리를 시뮬레이션하도록 설계되었습니다. "두뇌"는 네트워크 보안 지식 기반을 통합하여 계획 역량을 지원하고, "눈"은 네트워크 환경의 역학을 세밀하게 인식하며, "손과 발"은 다양한 보안 툴 체인을 유연하게 활용하고, 다중 에이전트 협업을 통해 분업, 협력 및 정보 공유를 통해 효율적인 정보 공유 및 분석 네트워크를 형성합니다.
기술 구현 측면에서 "Wuxiang"은 "ReAct 모드"(Act-Observe-Think-Act 주기)와 "Plan AI + Action AI 듀얼 엔진 아키텍처"를 채택하여 복잡한 작업에서 동적 수정 기능을 보장합니다. 도구가 비정상적으로 호출되면 시스템은 프로세스를 중단하지 않고 자동으로 백업 계획으로 전환할 수 있습니다. 예를 들어, APT 공격 분석에서 Plan AI는 작업 목표를 분석하는 "조직자" 역할을 하고, Action AI는 로그 분석 및 위협 모델링을 수행하는 "조사 전문가" 역할을 합니다. 두 가지는 실시간 공유 지식 그래프를 기반으로 병렬로 구현됩니다.
기능 모듈 수준에서 "Wuxiang"은 완전한 자율적 의사결정 생태계를 구축했습니다. 지능형 에이전트는 보안 분석가의 반성적이고 반복적인 사고를 시뮬레이션하고 의사결정 경로를 동적으로 최적화합니다. 이 도구 호출은 호스트 보안 로그 쿼리, 네트워크 위협 인텔리전스 검색 및 LLM 기반 악성 코드 분석을 통합합니다. 환경 인식은 호스트 자산과 네트워크 정보를 실시간으로 포착합니다. 지식 그래프는 의사결정을 돕기 위해 엔티티 연결을 동적으로 저장합니다. 다중 에이전트 협업은 작업 분할 및 정보 공유를 통해 작업을 병렬로 실행합니다.
현재 "Wuxiang"은 경보 평가, 소스 추적 분석, 안전 보고서 출력의 세 가지 핵심 애플리케이션 시나리오에서 가장 우수한 성능을 발휘합니다.
기존 보안 작업에서는 대량의 경고의 진위 여부를 파악하는 데 많은 시간과 노력이 필요합니다. 로컬 권한 상승 알람을 예로 들어 보겠습니다. Wuxiang의 알람 분석 에이전트는 자동으로 위협 특성을 분석하고, 프로세스 권한 분석, 부모 프로세스 추적, 프로그램 서명 검증 및 기타 툴 체인을 호출하고 궁극적으로 이를 오경보로 판별합니다. 프로세스 전반에 걸쳐 인간의 개입이 필요하지 않습니다. Qingteng의 기존 경보 테스트에서 시스템은 100% 경보 범위와 99.99%의 판단 정확도를 달성했으며, 수동 작업량을 95% 이상 줄였습니다.
웹셸 공격과 같은 실제 위협 대면 지능형 에이전트는 코드 기능 클레임 및 파일 권한 분석과 같은 차원 간 연관성을 사용하여 몇 초 만에 공격의 효과를 확인합니다. 전통적으로 심층 추적(전파 경로 복원 및 측면 영향 평가 등)에는 여러 부서의 협업이 필요하며 며칠이 걸립니다. 이제 시스템은 호스트 로그, 네트워크 트래픽, 동작 기준선 및 기타 데이터 스트림을 자동으로 연결하여 완전한 공격 체인 보고서를 생성하고 대응 주기를 "며칠"에서 "분"으로 단축합니다.
"저희의 핵심은 AI와 인간 간의 협력 관계를 역전시키는 것입니다. AI는 인간처럼 협력하여 L2에서 L4로, 즉 보조 주행에서 고수준 자율 주행으로 도약하는 데 활용될 수 있습니다." 칭텅 롄촹(Qingteng Lianchuang) 제품 담당 부사장인 후 준(Hu Jun)은 "AI가 더 많은 시나리오에 적응하고 의사결정 성공률이 높아짐에 따라 점차 더 많은 책임을 맡을 수 있게 될 것이므로 인간과 AI의 책임 구분도 바뀔 것입니다."라고 말했습니다.
소스 추적 분석 시나리오에서 먼저 Webshell 알람은 "단계 없는 AI"로 구동되는 다중 에이전트 보안 팀의 협업 소스 추적을 트리거합니다. "분석 전문가"는 알람을 기반으로 one.jsp 파일을 찾고 파일 콘텐츠 분석, 작성자 추적, 동일 디렉터리 조사 및 프로세스 추적과 같은 병렬 작업을 생성하며 "보안 조사자" 에이전트는 파일 로그 도구를 호출하여 Java(12606) 프로세스를 쓰기 소스로 빠르게 잠급니다. 해당 프로세스와 관련 호스트 10.108.108.23(접속 로그를 통해 고빈도 상호작용이 발견됨)이 차례로 조사에 포함되었습니다.
지능형 에이전트는 위협 맵을 통해 단서를 동적으로 확장하여 단일 파일에서 프로세스 및 호스트 계층까지 더욱 깊이 파고들고, 분석 전문가는 작업 결과를 요약하여 리스크 종합적으로 판단합니다. 이 프로세스를 통해 수 시간에서 수 일이 걸리는 수동 조사를 수십 분으로 압축하여 인간 보안 전문가의 정확도를 뛰어넘는 정확도로 전체 공격 체인을 복원하고 사각지대 없이 측면 이동 경로를 추적할 수 있습니다. 레드팀 평가 결과는 또한 그들이 전면적으로 조사를 실시하는 것을 피하기 어렵다는 것을 보여줍니다.
후쥔은 "대형 모델은 수작업보다 낫다. 경험에 의존해 낮은 확률의 상황을 배제하는 대신, 모든 측면을 철저히 검토할 수 있기 때문이다"고 설명했다. "이것은 더 넓은 범위와 깊이를 의미합니다."
복잡한 공격 시나리오에 대한 조사를 완료한 후 알림과 조사 단서를 정리하고 보고서를 생성하는 작업은 시간이 많이 걸리고 힘든 작업인 경우가 많습니다. AI는 한 번의 클릭으로 요약을 달성하고, 시각적 타임라인 형태로 공격 과정을 명확하게 제시하고, 영화처럼 일관된 방식으로 주요 노드를 보여줄 수 있습니다. 시스템은 자동으로 주요 증거를 분류하여 공격 체인의 주요 프레임을 생성하고, 환경적 맥락 정보를 결합하여 최종적으로 동적 공격 체인 맵을 생성하여 전체 공격 궤적을 직관적이고 3차원적으로 표현할 수 있습니다.
04 결론
AI 기술의 발전이 네트워크 보안에 두 가지 과제를 가져온다는 것은 분명합니다.
한편, 공격자는 AI를 사용하여 공격을 자동화하고, 개인화하고, 은폐합니다. 반면에 방어자는 AI를 통해 기술 혁신을 가속화하고 탐지 및 대응 역량을 강화해야 합니다. 미래에는 공격과 방어의 AI 기술 경쟁이 네트워크 보안의 전반적 상황을 결정하게 될 것이며, 보안 인텔리전스의 향상은 리스크 과 발전의 균형을 맞추는 핵심이 될 것입니다.
보안 지능형 실체인 "우샹"은 보안 아키텍처와 인지 수준 모두에서 새로운 변화를 가져왔습니다.
"우샹"은 본질적으로 AI의 사용 방식을 바꾼다. 획기적인 발전은 다차원 데이터 인식, 보호 전략 생성 및 의사 결정 설명 가능성을 유기적인 전체로 통합한 데 있습니다. 즉, AI를 도구로 사용하는 과거 방식에서 AI가 자율적이고 자동으로 작동할 수 있도록 하는 방식으로 전환한 것입니다.
로그, 텍스트, 트래픽 등 다양한 데이터를 연관시키고 분석함으로써 시스템은 공격자가 완전한 공격 체인을 구축하기 전에 APT 활동에 대한 단서를 포착할 수 있습니다. 더욱 중요한 점은 의사결정 과정에 대한 시각적 추론 설명으로 인해 "무엇인지는 알지만 그 이유는 모르는" 기존 도구의 블랙박스 경고가 과거의 유물이 되었다는 것입니다. 보안 팀은 위협을 확인할 수 있을 뿐만 아니라 위협의 진화적 논리도 이해할 수 있습니다.
이 혁신의 핵심은 "양들이 도망간 후에 우리를 고치는 것"에서 "비오는 날에 대비하는 것"으로 보안 사고의 패러다임을 전환한 것이며, 공격과 방어 게임의 규칙을 재정의한 것입니다.
"무상"은 디지털 직관을 갖춘 사냥꾼과 같습니다. 메모리 작업과 같은 미세 행동 특성을 실시간으로 모델링하여 방대한 노이즈 속에서 잠재적인 맞춤형 트로이 목마를 찾아낼 수 있습니다. 동적 공격 표면 관리 엔진은 자산 리스크 가중치를 지속적으로 평가하여 보호 리소스가 중요 시스템에 정확하게 투자되도록 보장합니다. 위협 인텔리전스의 지능형 소화 메커니즘은 하루 평균 10,000개의 경고를 실행 가능한 방어 지침으로 변환하고, 공격 변종의 진화 방향까지 예측합니다. 기존 솔루션이 이미 발생한 침입을 처리하는 데 어려움을 겪고 있을 때, "우샹"은 이미 공격자의 다음 움직임을 예측하고 차단합니다.
장푸다오는 "AI 지능형 중앙 시스템(고급 보안 지능형 기관)의 탄생은 네트워크 보안 지형을 완전히 바꿀 것입니다. 우리가 해야 할 일은 이 기회를 철저히 포착하는 것뿐입니다."라고 말했습니다.
