사람들이 인공지능에 대해 생각할 때, 그들은 챗봇과 대규모 언어 모델을 생각합니다. 하지만 AI가 사회의 중요한 분야에 점점 더 통합되고 있다는 점을 간과하기 쉽습니다.
이러한 시스템은 더 이상 단순히 무엇을 시청하거나 구매할지 추천하는 것이 아니라, 질병을 진단하고, 대출을 승인하며, 사기를 탐지하고, 위협을 타겟팅합니다.
AI가 우리의 일상생활에 더욱 깊이 통합됨에 따라, 우리는 그것이 우리의 최선의 이익을 위해 행동하도록 보장해야 합니다. 우리는 그 출력이 입증 가능하도록 해야 합니다.
대부분의 AI 시스템은 블랙박스로 작동하여, 우리는 종종 그들이 어떻게 결정에 도달하는지 또는 의도한 대로 작동하는지 알 수 없습니다.
이는 그들의 작동 방식에 내재된 투명성 부족으로, 사후에 AI 결정을 감사하거나 질문하는 것을 거의 불가능하게 만듭니다.
특정 응용 프로그램의 경우 이것으로 충분합니다. 하지만 의료, 금융, 법 집행과 같은 고위험 분야에서는 이러한 불투명성이 심각한 위험을 초래합니다.
AI 모델은 의도치 않게 편향을 인코딩하거나, 결과를 조작하거나, 법적 또는 윤리적 규범과 충돌하는 방식으로 행동할 수 있습니다. 검증 가능한 추적 없이는 사용자는 결정이 공정하고, 유효하며, 심지어 안전한지 추측할 수밖에 없습니다.
이러한 우려는 AI 능력이 계속해서 기하급수적으로 성장한다는 사실과 결합될 때 실존적인 문제가 됩니다.
이 분야에는 인공 슈퍼인텔리전스(ASI) 개발이 불가피하다는 광범위한 합의가 있습니다.
조만간 우리는 과학적 추론, 전략적 계획, 창의성, 심지어 감성 지능에 이르기까지 모든 영역에서 인간 지능을 능가하는 AI를 갖게 될 것입니다.
대규모 언어 모델은 이미 일반화와 작업 자율성에서 급속한 발전을 보이고 있습니다.
만약 슈퍼인텔리전트 시스템이 인간이 예측하거나 이해할 수 없는 방식으로 행동한다면, 우리는 어떻게 그것이 우리의 가치와 일치하도록 보장할 수 있을까요? 명령을 다르게 해석하거나 의도하지 않은 결과를 추구한다면 어떻게 될까요? 만약 그것이 제어를 벗어난다면 어떻게 될까요?
이러한 상황이 인류를 위협할 수 있다는 시나리오는 AI 옹호자들에게도 명백합니다.
딥러닝의 선구자인 제프리 힌튼은 문명 수준의 사이버 공격이나 대규모 조작이 가능한 AI 시스템을 경고합니다. 생물안전 전문가들은 AI 증강 연구소가 인간의 통제를 벗어난 병원체를 개발할 수 있다고 우려합니다.
그리고 안두릴의 창립자 팔머 럭키는 래티스 AI 시스템이 몇 초 만에 군사 목표를 방해하고, 해킹하거나 속일 수 있다고 주장하며, 자율 전쟁이 임박했다고 말합니다.
이렇게 많은 가능한 시나리오가 있는 상황에서, 우리는 어떻게 ASI가 우리 모두를 없애지 않도록 보장할 수 있을까요?
이 모든 질문에 대한 간단한 답변은 검증 가능성입니다.
불투명한 모델의 약속에 의존하는 것은 더 이상 중요 기반 시설에 통합하기에 적절하지 않으며, 하물며 ASI 규모에서는 더욱 그렇습니다. 우리는 보증이 필요합니다. 우리는 증거가 필요합니다.
정책 및 연구 커뮤니티에서는 AI를 위한 기술적 투명성 조치가 필요하다는 점에 대해 점점 더 합의하고 있습니다.
규제 논의에서는 종종 AI 결정에 대한 감사 추적을 언급합니다. 예를 들어, 미국 NIST와 EU AI 법은 AI 시스템이 "추적 가능"하고 "이해 가능"해야 한다는 중요성을 강조했습니다.
다행히도, AI 연구 및 개발은 진공 상태에서 일어나지 않습니다. AI에 적용하여 오늘날의 시스템과 궁극적으로는 ASI 시스템을 통제하고 인간의 이익과 일치시킬 수 있는 고급 암호학과 같은 다른 분야에서 중요한 혁신이 있었습니다.
현재 가장 관련성 있는 것은 영지식 증명입니다. 영지식 증명(ZKP)은 AI 시스템에 즉시 적용 가능한 추적 가능성을 달성하는 새로운 방법을 제공합니다.
사실, 영지식 증명은 AI 모델에 기본적으로 이러한 추적 가능성을 포함시킬 수 있습니다. 조작될 수 있는 AI가 무엇을 했는지 기록하는 것 이상으로, 발생한 일에 대한 변경 불가능한 증명을 생성할 수 있습니다.
특히 zkML 라이브러리를 사용하면, 이러한 모델에서 생성된 모든 계산을 검증하는 영지식 증명과 기계 학습을 결합할 수 있습니다.
구체적으로, zkML 라이브러리를 사용하여 AI 모델이 올바르게 사용되었는지, 예상된 계산을 실행했는지, 그 출력이 지정된 논리를 따랐는지 확인할 수 있으며, 내부 모델 가중치나 민감한 데이터를 노출하지 않고도 가능합니다.
이는 효과적으로 AI를 블랙박스에서 꺼내 정확히 어디에 있는지, 어떻게 그곳에 도달했는지 알 수 있게 합니다. 더 중요한 것은 인간을 루프에 유지한다는 것입니다.
AI 개발은 개방적이고, 분산되며, 검증 가능해야 하며, zkML이 이를 달성해야 합니다.
이는 내일의 AI를 통제하기 위해 오늘 일어나야 합니다. 우리는 AI가 자율화되기 전에 예상대로 작동하고 있음을 보장함으로써 1일부터 인간의 이익을 보호해야 합니다.
그러나 zkML은 악의적인 ASI를 막는 것만이 아닙니다.
단기적으로는 대출, 진단, 경찰 활동과 같은 민감한 프로세스의 자동화를 AI에 신뢰할 수 있도록 보장하는 것입니다. 왜냐하면 투명하고 공정하게 운영된다는 증거가 있기 때문입니다.
zkML 라이브러리는 대규모로 사용된다면 AI를 신뢰할 수 있는 이유를 제공할 수 있습니다.
더 강력한 모델을 갖는 것이 도움이 될 수 있지만, AI 개발의 다음 단계는 그들이 올바르게 학습하고 진화하고 있음을 보장하는 것입니다.
효과적이고 확장 가능한 zkML의 광범위한 사용은 곧 AI 경쟁과 궁극적으로 ASI 생성의 중요한 구성 요소가 될 것입니다.
인공 슈퍼인텔리전스로 가는 길은 추측으로 포장될 수 없습니다. AI 시스템이 더욱 강력해지고 중요 영역에 통합됨에 따라, 그들이 무엇을 하는지, 그리고 어떻게 하는지 증명하는 것이 필수적일 것입니다.
검증 가능성은 연구 개념에서 설계 원칙으로 이동해야 합니다. zkML과 같은 도구를 통해 이제 AI의 기반에 투명성, 보안, 책임성을 포함시킬 수 있는 실행 가능한 경로를 갖게 되었습니다.
이제 더 이상 AI가 무엇을 하는지 증명할 수 있는지가 아니라, 우리가 그렇게 선택할 것인지가 문제입니다.
편집: 세바스찬 싱클레어
