이 글에서는 급변하는 환경 속에서 금융기관이 취해야 할 주요 규제 동향과 실질적인 조치에 대해 중점적으로 살펴보겠습니다.
논문 저자 및 출처: Xiao Naiying, Fei Si, Yu Leimin, King & Wood Mallesons Research
생성형 인공지능이 널리 도입되고 있는 가운데, 규제 당국은 실용적인 응용 분야에 집중하고 있다.
금융기관이 생성형 인공지능("생성형 AI")을 계속 도입함에 따라 규제 당국은 원칙적인 정책 성명에서 실질적인 응용으로 초점을 옮기고 있습니다. 2025년 1월에 발표된 "생성형 AI 금융기관 가이드"[1]에서는 당시 프레임 여전히 주로 원칙적인 것이었지만 생성형 AI에 대한 규제 환경이 형성되고 있다고 지적했습니다.[2]
이후 규제의 초점은 거시적 원칙에서 운영 관리로 옮겨갔습니다. 홍콩은 시범 단계를 벗어나 책임 있는 적용 단계로 진입하고 있으며, 중국 본토는 콘텐츠 관리, 데이터 처리, 공시 의무, 모범 규정 등 여러 분야에서 규제를 더욱 구체화하고 있습니다. 본 글에서는 이러한 급변하는 환경 속에서 금융기관이 취해야 할 주요 규제 동향과 실질적인 조치들을 살펴볼 것입니다.
홍콩: 실험에서 체계적인 적용으로
최근 홍콩의 동향은 금융 서비스 부문이 생성형 인공지능(AI)의 적용을 보다 성숙하고 실용적인 방식으로 추진하고 있음을 보여줍니다. 규제 당국은 금융 기관이 투자자 보호를 최우선으로 고려하고 규제 당국의 엄격한 심사를 통과할 수 있도록 관련 기술을 책임감 있고 통제 가능한 방식으로 도입할 수 있는지에 초점을 맞추고 있습니다.
홍콩 통화 당국(HKMA)은 2025년 4월 "GenA.I. 새로운 시대: 금융 서비스에서 인공지능의 책임 있는 적용 촉진"[3]이라는 제목의 보고서를 발표했는데, 이 보고서에서는 홍콩의 생성형 AI에 대한 인식이 변화하고 있다고 지적했습니다. 조사 대상 금융 기관의 75%가 AI 애플리케이션을 구현했거나 개발 중이며, 향후 3~5년 내에 87%에 도달할 것으로 예상됩니다.
동시에 실질적인 지침은 점점 더 구체화되고 있습니다. 예를 들어, 2025년 3월 홍콩 개인정보보호위원회에서 발행한 "직원의 생성형 AI 사용에 관한 지침 목록"[4]은 개인정보 및 거버넌스에 대한 우려를 구체적인 운영 통제 조치로 전환합니다. 이 목록은 도구 사용, 데이터 입력, 출력 저장 및 보존, 검증, 편차 수정 및 보고, 워터마킹 및 주석, 장치 접근 및 사고 보고에 대한 명확한 정책 개발을 권장합니다.
홍콩 디지털 정책 사무국은 2025년 4월에 "홍콩의 생성형 인공지능 기술 및 응용 프로그램 가이드라인"을 처음 발표하고 같은 해 12월에 이를 업데이트했습니다.[5] 이 가이드라인은 공정성, 투명성, 사용자 선택 및 편향 수정과 같은 원칙을 강조하고 모범 사례 지침을 더욱 자세히 제공합니다. 고객 상호 작용, 추천 엔진, 적합성 지원, 내부 분류 또는 리스크 선별에 생성형 AI를 사용하는 금융 기관은 이 가이드라인을 전체 규정 준수 프레임 의 중요한 부분으로 간주해야 합니다.
홍콩의 규제 인프라가 지속적으로 확장되고 있습니다.
특히 중요한 발전은 홍콩의 생성형 AI 규제 프레임 지속적으로 확대되고 있다는 점입니다. 2025년 1월 기사에서 설명했듯이, 홍콩 금융관리국(HKMA)은 사이버포트와 협력하여 2024년에 GenA.I. 샌드박스를 출범시켰습니다. 이 샌드박스는 인증된 기관들이 은행 부문에서 생성형 AI의 혁신적인 활용 사례를 개발하고 테스트할 수 있는 통제된 환경을 제공합니다.
2025년 10월, 홍콩 통화청(HKMA)은 "제1차 GenA.I. 샌드박스 보고서"[6]를 발표하여 리스크 관리, 사기 방지 조치 및 고객 경험이 세 가지 주요 테스트 영역임을 지적하고 콘텐츠 착각 및 정보 오류와 같은 기술적 및 거버넌스 문제를 지적했습니다. 이는 규제 초점이 혁신 장려에서 생성형 AI를 은행 운영에 안전하게 통합하는 방법을 이해하는 것으로 전환되었음을 의미합니다.
또한, 같은 해 10월에 시작된 GenA.I. 샌드박스의 2단계는 AI 기능 실험에서 안전하고 신뢰할 수 있는 구현으로의 중요한 전환을 보여줍니다. 홍콩 금융관리국(HKMA)은 20개 은행과 14개 기술 파트너가 참여하는 27개 사용 사례를 선정하여, 딥페이크 사기 방지 능력을 강화하기 위해 사전 예방적 AI 거버넌스, 자동화된 품질 검사 및 적대적 시뮬레이션에 중점을 두었습니다. 이는 배포 준비 태세, 통제 효율성 및 AI 기반 리스크 완화로의 명확한 전환을 의미합니다.
2026년 3월, 홍콩 금융관리국(HKMA)은 증권선물위원회, 보험감독원, 의무적립식 연금제도관리국과 함께 GenA.I. 샌드박스++를 출범시켜 증권, 자산 및 자산관리, 보험, 의무적립식 연금, 선불결제상품 분야로 프레임 확대했습니다. 기존의 리스크 관리, 사기 방지, 고객 경험이라는 세 가지 핵심 영역은 유지하면서, "AI를 이용해 AI에 맞서는" 규제 전략, 즉 AI 관련 리스크 관리하는 데 AI를 활용하는 전략을 명시적으로 추진하고 있습니다.
홍콩 금융관리국의 "핀테크 2030" 전략
2025년 11월, 홍콩 금융관리국(HKMA)은 "핀테크 2030" 전략을 발표했는데, 이 전략에는 "AI x 인증기관" 전략이 포함되어 있습니다. 이 전략은 금융 산업에서 AI의 포괄적이고 책임감 있는 적용을 촉진하고, 공유 가능하고 확장 가능한 인프라 및 산업 모델 개발을 장려하는 것을 목표로 합니다. 법률 및 규제적 관점에서 이 전략은 중요한 메시지를 전달합니다. 즉, AI 거버넌스는 더 이상 독립적인 혁신 과제가 아니라 기업 구조, 업무 회복력, 고객 보호 및 규제 대비에 통합되어야 한다는 것입니다.
2026년 3월, 홍콩 통화청(HKMA)은 모든 인가 기관에 디지털 전환에 따른 업무 모델에 관한 회람을 발행했습니다.[7] 이 회람에서는 에이전트 기반 인공지능을 포함한 새로운 기술이 디지털 전환을 가속화하고 있다고 언급했습니다. 회람은 모든 인가 기관이 기술 변화에 대응하기 위해 장기적인 업무 모델을 선제적으로 평가하고 조정해야 한다는 HKMA의 기대를 명시하고 있습니다. 특히, 각 인가 기관의 이사회는 2026년 9월 9일까지 디지털 전환 및 금융 디지털화에 대한 공식적인 전략 계획을 감독하고 승인해야 합니다. 이 전략 계획에는 상품 제공, 수익 모델, 고객 상호 작용, 리스크 관리 및 운영의 조정 또는 전환 기회를 파악해야 합니다. HKMA의 디지털 전환 회람에 대한 자세한 내용은 인포그래픽을 참조하십시오.[8]
홍콩 최근 동향의 실질적 의미
최근 홍콩의 규제 동향은 금융 기관이 데이터, 기술적 복원력, 거버넌스 및 책임성을 포괄하는 종합적인 프레임 구축하고, 생성형 AI를 전체 수명 주기 동안 엄격하고 증거 기반 방식으로 관리해야 함을 시사합니다.
실제로 이는 다음과 같은 핵심 사항을 포함합니다.
(적용 시나리오 차별화) 다양한 배포 시나리오를 신중하게 구분해야 합니다. 내부 도구, 고객 애플리케이션, 모니터링 및 감시 도구, 의사결정 지원 사용 사례, 타사 모델은 각각 다른 법적 및 리스크 고려 사항을 야기할 수 있으며, 이들을 모두 "AI 사용"이라는 단일 범주로 분류하는 것만으로는 요구 사항을 충족하기에 충분하지 않을 수 있습니다.
(거버넌스 초점) 조직은 일반적으로 순전히 기술적인 문제로 설명되는 사항(예: 프롬프트 단어 설계, 검색 메커니즘, 출력 처리, 모델 검증, 보고 임계값 및 수동 검토)을 거버넌스 범위에 포함해야 합니다.
(정책 일치) 기관은 책임 있는 적용, 공정성, 정확성, 투명성, 개인정보 보호, 책임성 및 사고 대응을 포함하여 현재 홍콩 가이드라인에 제시된 용어 및 고려 사항에 맞춰 내부 정책을 조정해야 합니다.
(규제 균형) 기관들은 혁신 지원과 규제 검토 사이의 간격이 좁아질 것에 대비해야 합니다. 샌드박스 참여 및 기타 규제 기관과의 상호 작용은 배포를 가속화할 수 있지만, 더 높은 수준의 거버넌스 요구 사항을 수반하기도 합니다.
(규제 관련 커뮤니케이션) 샌드박스 및 파일럿 프로젝트 참여는 단순한 혁신 기회가 아닌 규제 준비 활동으로 간주되어야 합니다. 규제 기관과 소통하기 전에 조직은 명확한 책임 및 승인 체계, 문서화된 테스트 및 검증(편향 및 착시 현상 통제 포함), 인체 검토 및 보고를 위한 명확한 기준, 그리고 검토 목적에 필요한 모든 증거 자료를 확보해야 합니다.
중국 본토: 운영 및 규칙 기반 규제 경로로의 전환
중국의 생성형 AI 규제 프레임 실용성 향상, 규칙 기반 접근 방식 강화, 규제 지향성 제고를 향해 지속적으로 발전하고 있습니다. 금융기관에게 있어 실질적인 문제는 특정 AI 도구의 허용 여부가 아니라, 관련 사용 사례가 적절하게 분류되고, 필요한 경우 관련 서류가 제출되었으며, 적절한 데이터 관리 체계가 구축되고, 전체 수명 주기 동안 모니터링이 이루어지고 있음을 입증할 수 있는지 여부입니다.
이는 규제 경계가 점점 더 세분화되고 있기 때문에 매우 중요합니다. AI 생성 콘텐츠 라벨링, 알고리즘 및 모델 등록, 보안 평가, 국가 표준, 금융 산업의 데이터 거버넌스 분야에서 최근 나타난 발전은 모두 동일한 방향을 가리키고 있습니다. 즉, 중국 본토의 AI 규정 준수는 구현 증거를 점점 더 강조하고 있다는 것입니다.
콘텐츠 라벨링 및 추적성은 핵심적인 규정 준수 요건이 되고 있습니다.
국가인터넷정보국, 산업정보부, 공안부, 국가라디오텔레비전총국이 공동으로 발표한 "인공지능 생성 합성 콘텐츠 식별 조치"는 고위급 투명성 및 거버넌스 문제를 콘텐츠 라벨링 및 메타데이터에 대한 구체적이고 실행 가능한 요구사항으로 전환합니다.
이 접근 방식의 핵심은 동시 구현이 필요한 이중 라벨링 시스템입니다.
a) 사용자가 볼 수 있는 명시적인 주석; 및
b) 추적성을 위한 암묵적 주석을 구현하기 위해 파일 메타데이터를 삽입합니다.
이중 라벨링 방식은 규제, 집행 및 책임 이행을 위한 사용자 투명성과 백엔드 추적성이 동시에 작동해야 한다는 명확한 규제 당국의 기대를 반영합니다. 중요한 것은 이 방식이 AI 콘텐츠 가치 사슬 전반에 걸쳐 책임성을 확대한다는 점입니다. 요약하자면 다음과 같습니다.
콘텐츠 생성 서비스 제공업체는 콘텐츠 생성 단계에서 콘텐츠 라벨링(명시적 및 암묵적 라벨링 포함)을 구현하여 라벨링의 정확성과 지속성을 보장하고, AI 생성 콘텐츠가 규제 검토 또는 조사 대상이 될 때 추적성과 책임성을 지원해야 합니다.
콘텐츠 배포 플랫폼은 AI 생성 콘텐츠에 첨부된 기존 주석을 식별, 보존 및 표시하고, 주석의 고의적인 삭제, 위조 또는 오용을 방지하고 해결하며, 콘텐츠 출처 추적 및 검증 가능성에 대한 감독을 포함하여 규제 기관의 감독에 협력해야 합니다.
사용자는 명시적 주석을 의도적으로 제거, 변조, 은폐 또는 위조해서는 안 되며, 암시적 주석이나 기술적 식별자를 의도적으로 변조해서는 안 되고, AI 생성 콘텐츠를 사람이 만든 콘텐츠인 것처럼 허위로 제시하여 타인을 오도해서는 안 되며, 추적성이나 규제를 회피하는 방식으로 합성 콘텐츠를 사용해서는 안 됩니다.
이러한 접근 방식은 적절한 관리 및 규제를 지원하기 위해 AI 생성 콘텐츠를 확정, 잠재적, 의심되는 콘텐츠로 더욱 세분화합니다. 이러한 범주는 배포 플랫폼이나 사용자에게 일반적인 AI 탐지 의무를 부과하는 것이 아닙니다. 대신, 콘텐츠 출처에 대한 확실성 수준을 다르게 인정하며, 의무적인 라벨링 의무는 규제 대상 AI 콘텐츠 생성 서비스 제공업체가 생성한 것으로 확인된 AI 생성 콘텐츠에만 적용됩니다.
요약하자면, 이 조치는 중국의 진화하는 규제 프레임 하에서 합성 콘텐츠 리스크 관리를 위한 기본 준수 통제 수단으로 콘텐츠 라벨링 및 추적성을 자리매김함으로써 공동 책임 및 생명주기 기반 거버넌스 모델로의 전환을 의미합니다.
알고리즘 및 모델 등록은 규제 체계의 핵심으로 남아 있습니다.
콘텐츠 라벨링 및 추적성에 대한 운영상의 관심이 증가하고 있음에도 불구하고, 알고리즘 및 모델 등록은 중국 AI 규제 체계의 핵심 기둥으로 남아 있습니다. 최근 관련 법률 및 규정에 큰 개정은 없었지만, 규제 관행과 시행 방식은 지속적으로 진화하고 있습니다.
금융기관은 다음과 같은 사항에 특별히 주의를 기울여야 합니다.
- 알고리즘 등록과 모델 등록은 서로 독립적이지만 잠재적으로 중복되는 규제 절차입니다. 특정 조건 하에서 일부 생성형 AI 서비스 제공업체는 알고리즘 및 모델 수준 모두를 포괄하는 "이중 등록" 의무를 이행해야 할 수 있습니다.
- 특정 금융 서비스 애플리케이션은 규제 불확실성이 더 큰 상황입니다. 특정 금융 서비스 활용 사례에 대한 모델 제출 관련 규제 접근 방식은 여전히 진화하고 있습니다. 공개된 제출 기록에 따르면, 금융 리스크 평가, 신용 또는 대출 결정, AI 기반 거래 활동과 같은 기능에 직접 사용되는 알고리즘이나 모델에 대한 승인 사례는 제한적입니다. 시장 안정성과 소비자 보호에 미치는 잠재적 영향을 고려할 때, 이러한 활용 사례는 더욱 엄격한 심사를 받을 것으로 보입니다.
- 특정 고객 대면 사용 사례에 대한 출원 추세가 점차 성숙해지고 있습니다. 공개된 출원 정보를 보면 AI 기반 지능형 고객 서비스 및 비서, 그리고 AI 기반 금융 또는 증권 분석 도구와 같은 고객 대면 애플리케이션 관련 알고리즘 및 모델이 여러 개 승인된 것으로 나타납니다. 이러한 사용 사례는 직접적인 의사 결정이나 리스크 감수 활동보다는 콘텐츠 생성 또는 정보 지원 기능에 중점을 두는 경향이 있다는 점에 주목할 필요가 있습니다.
규제의 초점은 일회성 승인 또는 신고에서 지속적인 감독으로 옮겨갔습니다.
최근의 규제 당국 활동은 규제 승인 또는 신고가 최종적이거나 고정된 결과로 간주되지 않음을 시사합니다. 알고리즘 기반 추천 서비스 또는 생성형 AI 서비스를 제공하는 조직의 경우, 이러한 기대는 시스템의 전체 수명 주기에 걸쳐 적용됩니다. 법률 또는 규제상의 변화(예: 사용 사례, 모델 기능, 데이터 소스, 사용자 범위 또는 배포 채널의 변경)가 발생하면, 조직은 추가적인 보안 평가를 수행하거나, 기존 신고서를 업데이트하거나, 필요에 따라 규제 기관과 적극적으로 소통해야 할 수 있습니다.
이러한 추세는 더욱 광범위한 법 집행 조치에 의해 강화되었습니다. 2025년 4월, 중국 사이버공간관리국은 "인터넷 정화 및 AI 기술 남용 시정"이라는 3개월간의 전국 캠페인을 시작했으며, 이 기간 동안 규제 당국은 대량 법규 위반 AI 제품 및 관련 콘텐츠에 대해 조치를 취했습니다. 이는 AI 관련 법규 준수가 예외적이거나 일시적인 문제가 아니라 일상적인 규제 집행 활동에 확고히 자리 잡았음을 분명히 보여줍니다. 지속적인 법규 준수를 유지하지 못할 경우 규제 당국의 조사, 공개적인 비판, 시정 명령, 행정 처벌은 리스크 노출될 수 있습니다 .
규칙이 진화함에 따라 생성형 인공지능에 대한 규제 범위가 지속적으로 확대되고 있습니다.
콘텐츠 라벨링, 등록 및 보안 평가를 넘어, 중국 본토에서 생성형 AI에 대한 규제 범위는 지속적으로 확대되고 있으며 그 수준과 세부 사항 또한 더욱 복잡해지고 있습니다. 최근의 규제 도구와 정책적 움직임은 규제 당국이 콘텐츠 보안 및 기술적 준수에서 행동적 영향, 윤리적 거버넌스, 시나리오 기반 리스크 관리, 특히 리스크 상황에 대한 규제로 점차 초점을 넓혀가고 있음을 보여줍니다.
이러한 진화의 핵심적인 측면은 생성형 AI 거버넌스 및 기술 윤리 검토 프레임 와 개인정보보호법에 따른 개인정보 보호 요건 간의 상호작용이 증대되고 있다는 점입니다. 이 두 프레임워크 자체가 완전히 새로운 것은 아니지만, AI 활용 사례에서의 적용 가능성이 점점 더 명확해지고 실질적인 적용이 이루어지고 있습니다. 특히 AI 시스템이 개인정보 처리, 자동화된 의사결정, 또는 개인의 권리에 중대한 영향을 미칠 수 있는 기능을 포함할 경우, 규제 당국은 기관들이 합법성과 보안뿐만 아니라 공정성, 설명 가능성, 윤리적 리스크 까지 평가할 것을 점점 더 요구하고 있습니다.
2026년 4월 여러 부처가 공동으로 발표한 "인공지능 기술 윤리 심사 및 서비스 조치(시범 시행)"에 따르면, 특정 리스크 인공지능 연구 및 응용 시나리오, 특히 민감한 개인 정보, 행동 개입 또는 대규모 사회적 영향과 관련된 시나리오의 경우, 보다 광범위한 규정 준수 프레임 내에서 구조화된 윤리 심사 또는 전문가 평가가 필요할 수 있습니다. 이러한 심사의 필요성은 구체적인 사용 사례, 관련 데이터 및 배포 환경에 따라 달라지며, 사례별로 평가되어야 합니다.
금융기관의 경우 이러한 조치들이 직접적인 규제 준수에 미치는 영향은 제한적일 수 있습니다. 그러나 이러한 움직임은 규제 방향을 보여주는 중요한 신호입니다. 이는 중국 본토의 AI 규제가 광범위한 의무에서 시나리오 기반, 기능 기반, 그리고 사용자 영향 중심의 요구사항으로 진화하고 있음을 시사합니다. 생성형 AI에 대한 거버넌스는 기술적 안정성을 넘어 인간-컴퓨터 상호작용 설계, 안전장치, 그리고 업그레이드 메커니즘까지 확장될 것으로 기대됩니다.
인공지능과 관련된 포괄적인 국가 표준 시스템이 구축되고 있다.
공식적인 법률 및 행정 조치를 넘어, 국가 표준은 AI 실무에서 규정 준수 기대치를 형성하는 데 점점 더 중요한 역할을 하고 있습니다. 생성형 AI 분야에서 규제 기관은 머신러닝(ML) 보안 평가, 합성 콘텐츠 주석, 학습 데이터 보안 및 기본 서비스 요구 사항에 대한 지침을 제공하는 수많은 국가 표준을 발표했습니다. AI 모델 서비스(Model-as-a-Service) 보안, 수명 주기 보안 운영 역량 평가 및 에이전트 기반 AI 애플리케이션과 관련된 추가적인 국가 표준도 개발 중입니다.
이러한 국가 표준은 규제 기준점 역할을 하며, 규제 당국이 실제 안전 조치, 지배구조 및 운영 통제의 적절성을 평가하는 방법에 대한 지침을 제공합니다. 시간이 지남에 따라 이러한 표준은 규제 및 집행 영역에서 점점 더 큰 영향력을 행사하여 AI 시스템에 대한 "적절한" 안전장치가 무엇인지에 대한 기대치를 형성할 가능성이 높습니다.
중국 본토 금융 부문의 데이터 및 모델 거버넌스에 대한 규제 감독이 강화되고 있다.
중국 본토의 금융 규제 당국은 AI 관련 특정 조치와 더불어 데이터 및 모델 거버넌스에 대한 기대치를 점점 더 강조하고 있으며, 이는 생성형 AI의 도입에 직접적인 영향을 미치고 있습니다. 구체적으로는 다음과 같습니다.
a) 데이터 보안 및 생명주기 관리 요건이 강화되고 있습니다. 2025년 5월 1일 중국 인민은행이 발표한 "중국 인민은행 업무 영역별 데이터 보안 관리 조치"는 금융기관에 데이터 분류 및 등급 지정, 데이터 목록 수립 및 정기적인 업데이트, 개인 정보, 민감 정보 및 중요 데이터 식별, 내부 책임 할당, 그리고 전 생명주기 데이터 보안 관리 조치 도입을 요구하고 있습니다.
b) 모델 관리 및 중앙집중형 감독은 규제 우선순위로 부상하고 있습니다. 2025년 12월 국가금융감독관리국이 발표한 "은행 및 보험업계 디지털 금융의 고품질 발전을 위한 실행 계획"은 금융기관들이 기업의 인공지능(AI) 및 모델 관리 플랫폼을 구축하여 모델의 중앙집중형 개발, 배포 및 모니터링을 지원하도록 권장하고 있습니다.
요약하자면, 이러한 규제 동향은 금융 산업에서 AI 애플리케이션이 구조화된 생명주기 모델 거버넌스, 명확하게 정의된 인간 개입 지점, 그리고 공급업체 및 아웃소싱 기술 제공업체에 대한 강화된 규제를 수반해야 한다는 요구를 점차 확대하고 있음을 시사합니다. 따라서 중국 본토의 AI 규정 준수는 기존 금융 산업 통제 기준과 수렴하고 있으며, 거버넌스 성숙도, 문서 품질 및 규제 대비 태세를 더욱 강조하고 있습니다.
중국 본토 최근 상황 전개의 실질적 의미
최근 동향을 보면 중국 본토가 인공지능 규제 시행을 심화하고 있음을 알 수 있습니다. 보안, 투명성, 책임 있는 데이터 사용과 같은 거시적 개념은 여전히 중요하지만, 규제 압력은 이러한 개념들을 실제로 어떻게 문서화하고, 입증하고, 실행하는지에 점점 더 집중되고 있습니다.
중국 본토 금융기관의 경우, 인공지능(AI) 도입은 체계적인 거버넌스, 생명주기 관리, 그리고 신뢰할 수 있는 기록 관리로 뒷받침되어야 합니다. 금융기관이 AI 시스템 설계 및 운영 초기 단계부터 공시 분석, 데이터 거버넌스, 보안 평가, 모델 리스크 관리, 그리고 공급업체 감독을 통합한다면 AI 도입을 책임감 있게 확대하는 데 더 유리한 위치에 서게 될 것입니다.
글로벌 전망: 모니터링, 집중 및 의존성
홍콩과 중국 본토를 넘어, 2025년 10월에 발표된 금융안정위원회(Financial Stability Board)의 보고서 "금융 부문에서의 AI 사용 및 관련 취약점 모니터링"[9]은 금융 부문에서의 AI가 단순히 행동적 또는 기술적 문제가 아니라 금융 안정성 문제이기도 함을 강조합니다. 이 보고서는 AI 모델 개발의 빠른 속도, 제3자 제공업체에 대한 의존도 증가, 진화하는 공급망, 그리고 당국이 애플리케이션을 모니터링하고, 데이터 격차를 해소하고, 제3자 의존 및 집중 리스크 과 관련된 취약점을 파악해야 할 필요성을 강조합니다. 이는 금융기관에 있어 AI 거버넌스가 윤리 정책 및 모델 문서화를 넘어 아웃소싱, 운영 탄력성 및 생태계 리스크 까지 포괄해야 함을 시사합니다. 예를 들어, 소수의 기본 모델 제공업체, 클라우드 플랫폼, 데이터 제공업체 및 AI 통합 계층에 대한 의존, 훈련 데이터 소스 및 모델 업데이트 주기에 대한 가시성 부족, 그리고 단일 공급업체의 중단, 모델 변경 또는 보안 사고가 여러 기관에 동시에 영향을 미칠 수 있는 리스크 등이 있습니다.
규제 당국의 관심은 단일 모델의 결과물에서부터 계약 및 감사 권한, 변경 관리 및 릴리스 제어, 업무 연속성 및 대체 계획, 데이터 이동성, 사고 보고, 제3자 성과 및 집중 노출에 대한 지속적인 모니터링을 포함하는 더 광범위한 통제 환경에까지 미칠 수 있습니다.
금융기관에 미치는 실질적인 영향
현행 규제 환경은 보편적으로 적용 가능한 단일 목록을 제시하지 않습니다. 법률 및 규제 기대치는 산업, 비즈니스 모델, 사용 사례, 운영 규모 및 배포 설계에 따라 달라집니다. 그럼에도 불구하고 최근의 동향은 금융 기관이 고려해야 할 여러 실질적인 과제를 시사합니다.
- (지배구조 및 감독) 이사회와 고위 경영진은 중요한 AI 활용 사례에 대해 명확한 책임 소재, 보고 체계 및 승인 프레임 구축해야 합니다.
- (사용 사례 평가) 조직은 영향력이 큰 사용 사례에 대해 법률, 규정 준수, 모델 리스크 및 기술 검토를 강화해야 합니다.
- (데이터 및 개인정보보호) 프롬프트, 검색 및 교육 워크플로는 보다 광범위한 데이터 거버넌스 및 기밀 유지 의무와 함께 검토되어야 합니다.
- (투명성 및 결과물 처리) 조직은 고객 정보 공개, 직원 지침, 결과물 라벨링 및 품질 관리 프로세스가 목적에 적합한지 검토해야 합니다.
- (제3자 및 아웃소싱 리스크) 공급업체 실사, 계약 관리, 대안 계획 수립 및 지속적인 모니터링을 강화해야 합니다.
- (테스팅, 모니터링 및 사고 보고) 테스트, 로깅, 모델 모니터링 및 사고 보고 일정은 사용 사례 수에 비례하여 계획되어야 합니다.
단일 생성형 AI 구축에는 개인 데이터, 은행 기밀 유지, 지적 재산권, 고객 커뮤니케이션, 모델 검증, 운영 안정성, 아웃소싱 및 기록 관리 등 여러 측면이 포함될 수 있습니다. 따라서 이러한 문제들을 단일 혁신 또는 기술 팀에만 맡기는 것은 일반적으로 불충분합니다.
인적 감독 또한 매우 중요합니다. 리스크 가 높은 사용 사례의 경우, "인적 개입 주기"를 막연하게 언급하는 것만으로는 설득력이 부족할 수 있습니다. 조직이 감사가 필요한 시점, 감사 책임자, 감사자가 확인해야 할 사항, 감사 문서화 방법, 그리고 감독 오류 또는 중단 조치가 발생하는 시점을 구체적으로 설명할 수 있어야 합니다.
글로벌 금융기관의 AI 거버넌스 관행에 대한 관찰
일부 글로벌 금융기관의 AI 거버넌스 사례를 선별적으로 검토한 결과, 다음과 같은 일반적인 관찰 사항을 제시합니다. 이러한 관찰 사항은 개괄적이고 예시적인 내용임을 유의하시기 바랍니다. AI 거버넌스에 대한 만능 해결책은 없으며, 각 금융기관의 프레임 관련 관할 지역의 규정 및 규제 기대치, 조직 구조, 리스크 수준, 기술 성숙도, AI 활용 사례의 특성 등 다양한 요소를 반영하여 구성됩니다.
3단계 거버넌스 아키텍처가 널리 확산되고 있습니다. 많은 조직들이 AI에 맞춘 "3단계 방어/3계층" 거버넌스 모델을 채택하고 있는 것입니다. 운영 단계에서는 다양한 업무 부서에서 AI 활용 사례를 분산적으로 제안하고 개발하는 것이 일반적입니다. 중간 단계에서는 리스크 관리, 규정 준수, 데이터, 기술 및 업무 팀의 고위 대표들로 구성된 AI 거버넌스 위원회 또는 책임 있는 AI 위원회와 같은 다기능 위원회를 설립하여 AI 활용 사례를 검토, 승인 및 모니터링합니다. 최고 단계에서는 이사회 또는 이사회 산하 위원회(일반적으로 새로 설립된 이사회 산하 AI 전담 위원회보다는 기존의 리스크 관리 위원회 또는 기술 위원회)가 AI 전략, 리스크 및 거버넌스에 대한 최종적인 감독 권한을 유지합니다.
일반적으로 조직은 AI 거버넌스를 독립적인 프레임 로 취급하지 않고, 기존 거버넌스 구조, 특히 모델 리스크 관리, 운영 리스크, 기술 거버넌스 및 데이터 거버넌스 프레임 에 통합합니다. 많은 조직은 AI 모델을 모델 리스크 관리 프레임 의 확장으로 간주하여 기존 모델과 유사한 검증, 모니터링 및 정기 검토 프로세스를 적용하는 동시에, 해석 가능성, 편향 및 모델 드리프트와 같은 AI 관련 리스크 해결하기 위해 이러한 프로세스를 조정합니다.
내부 "책임 있는 AI" 원칙에 대한 강력한 강조: 많은 조직에서 모든 AI 사용 사례에 대한 기본 요구 사항으로 내부 AI 거버넌스 원칙 또는 표준을 수립했습니다. 용어는 다를 수 있지만, 이러한 원칙은 일반적으로 다음과 같은 공통 주제를 중심으로 수렴합니다.
- 공정성 및 편향되거나 차별적인 결과의 방지;
- 모델 출력 및 제약 조건의 투명성과 해석 가능성;
- 데이터 거버넌스, 기밀성 및 개인정보 보호;
- 지속적인 테스트, 모니터링 및 모델 성능 검증.
이러한 원칙들은 단순히 선언적인 진술 수준에 머무르지 않고, 내부 정책, 통제 프레임 및 승인 절차를 통해 점차 구체화되고 있습니다.
부서 간 협업을 통한 거버넌스는 핵심적인 특징입니다. AI 거버넌스는 단일 부서에만 국한되는 경우가 드뭅니다. 조직은 일반적으로 데이터, 기술, 법률, 규정 준수, 리스크 관리 및 업무 팀을 포함한 다양한 이해관계자를 참여시킵니다. 이러한 부서들을 조율하고, 공통 표준을 개발하며, 다양한 사용 사례 전반에 걸쳐 일관성을 보장하기 위해 전담 AI 거버넌스 위원회 또는 전문 센터가 활용되는 경우가 많습니다. 일부 조직에서는 중앙 집중식 AI 부서가 그룹 전체의 정책과 도구를 개발하고, 업무 부서는 구현 책임을 유지하는 방식을 취하기도 합니다.
'사례별 승인 위원회'에 대한 통일된 접근 방식은 없습니다. 일부 조직은 개별 AI 사용 사례를 승인하기 위해 공식 위원회를 설립했지만, 다른 조직은 기존 승인 프로세스(예: 모델 리스크 위원회 또는 기술 변경 포럼)에 의존합니다. 대규모 글로벌 조직은 일반적으로 완전히 새로운 승인 기구를 만들기보다는 기존 거버넌스 인프라에 AI를 통합하는 경향이 있는데, 이는 AI 리스크 더 광범위한 기업 리스크 프레임 의 일부로 관리해야 한다는 인식을 반영합니다.
AI 라이프사이클 거버넌스가 점점 더 중요해지고 있습니다. AI 거버넌스는 더 이상 초기 승인에만 국한되지 않습니다. 조직들은 다음과 같은 엔드투엔드 라이프사이클 관리에 더욱 중점을 두고 있습니다.
- 사용 사례 분류 및 리스크 등급 평가;
- 배포 전 테스트 및 검증;
- 지속적인 성능 모니터링 및 성능 저하 감지;
- 수동 개입 및 보고를 위한 명확하게 정의된 임계값; 그리고
- 정기적인 평가, 재교육 및 퇴직 절차.
이는 정적인 제어에서 지속적인 모니터링으로의 광범위한 변화를 반영합니다.
인간의 감독은 여전히 핵심적인 통제 메커니즘이며, 조직들은 일반적으로 특히 리스크 가 높은 사용 사례에서 그 중요성을 인식하고 있습니다. 그러나 더욱 발전된 프레임"인간 개입 주기"라는 일반적인 개념을 넘어, 감사가 필요한 시점, 감사 책임자, 적용해야 할 표준, 그리고 감사 기록 및 문서화 방법을 보다 정확하게 정의하고자 노력하고 있습니다.
데이터 거버넌스와 모델 해석 가능성은 우선순위 영역입니다. 기관들은 일반적으로 데이터 품질, 출처 및 접근 제어, 그리고 복잡한 모델의 해석 가능성과 관련된 문제점을 강조합니다. 이러한 문제들은 특히 해석 가능성과 감사 규제 기대치와 밀접하게 연관된 규제 대상 금융 서비스 환경에서는 순전히 기술적인 고려 사항이라기보다는 핵심적인 거버넌스 문제로 여겨지는 경우가 많습니다.
AI 거버넌스 프레임 사용 사례와 규제 기대치에 따라 지속적으로 진화하고 있으며, 대부분의 조직은 여전히 AI 거버넌스 프레임 개선하고 있습니다. 특히 고객 상호작용, 의사결정 지원, 리스크 관리와 같은 분야에서 AI 사용 사례가 확대됨에 따라, 거버넌스 프레임 새로운 리스크, 규제 변화, 운영 과정에서 얻은 교훈을 반영하여 더욱 정교해지고 있습니다. 따라서 AI 거버넌스는 고정된 프레임 아니라 역동적이고 끊임없이 진화하는 분야로 이해해야 합니다.
요약하자면, 이러한 관찰 결과는 세계가 기존의 리스크 및 통제 인프라에 기반을 프레임 도 인공지능 시스템의 고유한 특성과 리스크 해결하기 위해 점차 적응해 나가는 통합적이고 원칙 중심적이며 생명주기 지향적인 인공지능 거버넌스 프레임 로 수렴하고 있음을 시사합니다.
*본 문서에서 "홍콩"은 중화인민공화국의 홍콩 특별행정구를 가리킵니다.
