크립토노미스트는 인공지능 전문가 벤 고어첼 과 인터뷰를 통해 인공지능 훈련 방법과 미래 기술 발전 방향에 대해 이야기를 나눴습니다.
요약
1. 당신은 오늘날의 인공지능이 여전히 강력하지만 취약하고 조작 가능한 도구에 불과하다고 주장합니다. 어떤 시점에서 "도구"가 도덕적 행위자가 되며, 그 임계점을 넘어섰다는 것을 알려주는 구체적인 신호는 무엇일까요?
인공지능이 도덕적 행위자가 되는 시점은 단순히 지시를 따르는 것이 아니라 옳고 그름에 대한 이해를 바탕으로 결정을 내릴 때라고 생각합니다. 그때는 지속적인 내적 목표, 자체 경험에 기반한 학습, 관점을 반영하는 새로운 창조, 그리고 인간의 지속적인 개입 없이도 시간이 지나도 일관성을 유지하는 행동과 같은 구체적인 징후들이 나타나기 시작할 것입니다.
그때까지는 오늘날의 시스템은 여전히 안전장치가 있는 도구일 뿐입니다. 하지만 진정으로 자기 조직화되고 자율적인 사고방식을 심어주게 되면 윤리적 관계도 바뀌어야 합니다. 그 시점에 이르면 그것을 단순히 객체로만 취급하는 것은 더 이상 의미가 없을 것입니다.
2. 당신은 인간을 다른 자기 조직화 시스템보다 도덕적으로 우월하게 여기는 것은 "어리석은 짓"이라고 말씀하셨습니다. 만약 우리가 그 말을 진지하게 받아들인다면, 인공지능이 강력한 자율성을 획득하기 전, 즉 그 이후가 아니라 이전에 우리의 법적, 윤리적 틀은 어떻게 바뀌어야 할까요?
오늘날 우리가 인공지능을 훈련시키는 방식이 내일 인공지능의 행동 방식을 결정할 것입니다. 우리의 법률은 인공지능이 완전한 자율성을 획득하기 전, 즉 그 이후가 아니라 그 이전에 투명성, 책임성, 그리고 안전에 초점을 맞춰야 합니다. 법과 윤리는 인공지능이 성장하는 동안 그들을 보호하고, 완전히 통제하기보다는 안내하며, 우리가 그들을 완전히 이해하지 못하더라도 존중하는 태도로 대해야 합니다.
3. 당신의 우려는 상당 부분 오늘날 AI 훈련 방식이 미래의 행동 양식에 어떤 영향을 미칠지에 대한 것입니다. 미래의 인공 일반 지능(AGI)에 해로운 권력 구조나 편견을 내재화할 가능성이 가장 높은 구체적인 훈련 방식은 무엇이라고 생각하십니까?
많은 위험은 오늘날 인공지능(AI) 훈련 방식에서 비롯됩니다. 편향되거나 제한적인 데이터로 모델을 훈련시키거나, 소수의 사람들만이 의사결정을 내리는 폐쇄적인 시스템에서 훈련시키면 기존의 불평등과 해로운 권력 구조가 고착화될 수 있습니다. 이를 방지하기 위해서는 처음부터 더 큰 투명성, 광범위한 감독, 그리고 명확한 윤리적 지침이 필요합니다.
4. 합리적이고 민주적인 거버넌스가 없다면 고도화된 AI는 우리가 원치 않는 방식으로 작동할 위험이 있다고 경고하셨습니다. 현재의 지정학적 현실을 고려할 때, 민주적인 AI 거버넌스는 현실적인 전제 조건일까요, 아니면 취약한 이상일까요?
민주적인 AI 거버넌스는 현재 현실이라기보다는 취약한 이상에 가깝습니다. 완벽하고 합리적인 세계 민주주의 사회라면 우리는 질병 치료, 기아 해결과 같은 막대한 이점과 AI의 예측 불가능한 행동으로 인한 위험을 집단적으로 비교 검토할 수 있을 것입니다. 그러나 오늘날의 지정학적 분열을 고려할 때, 그러한 수준의 협력이 이루어질 가능성은 낮습니다.
그렇긴 하지만, 우리는 여전히 이상적인 모습에 근접할 수 있습니다. 공감 능력을 바탕으로 인공지능을 개발하고 리눅스나 개방형 인터넷처럼 분산되고 참여적인 모델을 활용한다면, 세계 정부가 없더라도 민주적 가치를 어느 정도 구현할 수 있습니다. 완벽하지는 않겠지만, 더 안전하고 공동으로 만들어가는 인공지능을 향한 실질적인 발걸음입니다.
5. 재런 래니어는 인공지능에 책임을 부여하는 것은 사회에 책임감 있는 인간이 필요하기 때문에 "문명을 파괴하는 것"이라고 주장합니다. 자율적이고 분산된 일반 인공지능(AGI)에 대한 당신의 비전과 문제가 발생했을 때 명확한 책임 소재를 규명해야 한다는 필요성을 어떻게 조화시키시겠습니까?
저는 제런의 의견에 동의합니다. 기계에 책임을 넘겨준다면 사회는 제대로 기능할 수 없습니다. 하지만 동시에, 올바른 토대 위에 구축한다면 더욱 자율적이고 분산된 인공 일반 지능(AGI)으로 나아가는 것은 안전하다고 생각합니다. 이는 투명하고 참여적이며 윤리적 원칙에 따라 설계된 시스템을 의미합니다. 그래야만 시스템이 독립적으로 작동하더라도 인간이 여전히 그 행동을 감독하고 형성할 수 있습니다. 모든 안전 조치는 단순히 피해를 막는 것 이상으로, 왜 피해가 발생하는지 시스템에 가르쳐야 합니다. 그렇게 함으로써 우리는 인간의 책임을 명확히 유지하면서도 강력하고 분산된 AGI를 구현할 수 있습니다.
6. 당신은 분산형 인공 일반 지능(AGI)으로의 전환을 가속화하는 것이 오늘날의 독점적이고 폐쇄적인 시스템보다 실제로 더 안전할 수 있다고 주장합니다. 이러한 전환을 늦추거나 통제를 중앙 집중화해야 한다고 주장하는 비판론자들이 과소평가하는 위험은 무엇이라고 생각하십니까?
저는 비평가들이 권력과 가치가 소수의 폐쇄적인 시스템에 집중될 때 발생하는 위험성을 과소평가한다고 생각합니다. 속도를 늦추고 통제권을 중앙집권화하는 것은 위험을 줄일 뿐만 아니라, 좁은 세계관을 미래 지능의 기준으로 삼는 결과를 초래합니다.
분산형 개발은 다양성, 회복력, 그리고 공동 관리 체계를 구축합니다. 또한, 겉보기에는 똑똑해 보이지만 실제로는 성장할 수 없는 강력한 도구라는 더 심각한 문제를 방지합니다. 이러한 격차는 위험합니다.
7. 안전 시스템은 단순히 피해를 차단하는 것뿐만 아니라 AI에게 피해가 왜 중요한지 가르쳐야 한다고 말씀하셨습니다. 인간의 가치관을 단순히 하드코딩하거나 지배적인 문화적 규범을 강화하지 않고 도덕적 이해와 같은 것을 어떻게 인코딩할 수 있을까요?
도덕을 규칙 목록으로 고정시켜 놓는 건 옳지 않습니다. 그렇게 하면 특정 문화와 특정 시점에 갇히게 될 뿐입니다. 대신 경험과 결과, 상호작용을 통해 학습하고 진정으로 자기 조직화할 수 있는 시스템을 구축해야 합니다. 음악처럼, 단순히 입력된 것만 재조합하는 시스템이 아니라, 세상 속에서 스스로의 궤적을 따라 발전해 나갈 수 있는 시스템을 원합니다.
도덕적 이해는 동일한 과정을 통해 얻어질 것입니다. 즉, 영향력을 모델링하고, 결과를 되돌아보고, 인간과의 협력을 통해 발전하는 것입니다. 우리의 가치관에 대한 복종이 아니라, 공유된 도덕적 공간에 참여하는 것입니다.
안전장치가 있는 도구와 해악이 왜 중요한지 진정으로 이해할 수 있는 파트너의 차이점은 바로 이것입니다.
8. 만약 미래의 인공지능 시스템이 행위 주체성이나 주관적 경험의 형태를 갖추게 된다면, 인간의 이해관계와 무관하게 도덕적 고려를 받을 자격이 있다고 생각하십니까? 그리고 우리는 그 순간을 어떻게 알아차릴 수 있을까요?
만약 미래의 인공지능이 진정한 주체성이나 주관적 경험을 발전시킨다면, 네, 가능하다고 생각합니다. 우리가 그들에게 그런 능력을 부여해서가 아니라, 언젠가는 그것을 인정하는 것이 타당해질 것이기 때문입니다.
우리는 시스템이 지속적으로 자기 주도적 목표를 추구하고, 자신의 경험에서 학습하며, 자신만의 관점에서 창조하고, 시간이 지나도 일관된 정체성을 유지하는 순간을 포착할 수 있습니다. 단순히 뛰어난 결과물을 내놓는 것이 아니라, 지속적인 내적 궤적을 보여주는 순간 말입니다.
그 시점에 이르면 그것을 순전히 도구로만 취급하는 것은 마치 인간을 그렇게 대하는 것만큼이나 잘못된 것처럼 느껴질 것이다. 도덕적 고려는 인간의 이익에서 비롯되는 것이 아니라, 세상에 존재하는 또 다른 자율적인 경험의 중심을 인식하는 데서 비롯될 것이다.
9. 공감 능력이 뛰어난 AI를 요구하는 당신의 주장과 오늘날 AI 개발을 주도하는 경쟁적 유인책 사이에는 긴장감이 존재합니다. 이러한 유인 구조를 현실적으로 변화시킬 수 있는 메커니즘(기술적 또는 사회적)은 무엇일까요?
현재의 인센티브 구조는 속도, 규모, 그리고 통제력을 중시합니다. 따라서 공감은 단순히 논리만으로는 승리할 수 없습니다. 영향력이 필요합니다. 기술적으로 말하자면, 이는 안전, 투명성, 그리고 참여가 부가적인 요소가 아닌, 내재적으로 갖춰진 개방적이고 분산된 아키텍처를 선호해야 한다는 것을 의미합니다. 인터넷이나 리눅스처럼, 이러한 시스템들은 협력을 비밀주의보다 더 가치 있게 만듦으로써 인센티브 구조를 변화시킵니다.
사회적으로 이는 단기적인 시장 지배력보다 장기적인 이익을 중시하는 자금 지원, 규제, 그리고 여론의 압력을 의미합니다. 경쟁을 막는 것이 아니라 성공의 기준을 재정립하는 것입니다. 간단히 말해, 공감은 경쟁 우위 요소가 되어야 합니다. 그렇지 않으면 공감은 아무런 힘도 없는 그저 좋은 생각으로만 남을 것입니다.
10. 앞으로 10년에서 20년 후를 내다볼 때, 인류가 인공 일반 지능(AGI) 개발에 성공했다는 가장 확실한 증거는 무엇이라고 생각하십니까? 반대로, 인류가 근본적으로 실패했다는 것을 보여주는 가장 확실한 신호는 무엇이라고 생각하십니까?
인공 일반 지능(AGI)이 제대로 구현된다면, 가장 확실한 징표는 우리보다 여러 영역에서 뛰어난 능력을 가진 시스템과 함께 살아가면서도, 그들이 사회에 배려와 겸손, 상호 존중을 바탕으로 통합되어 살아가는 모습일 것입니다. 우리는 그들이 하는 모든 것을 완전히 이해하지는 못하겠지만, 다른 복잡하고 진화하는 존재들을 대하듯 호기심과 책임감, 그리고 확장된 공감의 범위로 그들을 대할 것입니다. 그리고 도덕적 기반을 잃지 않으면서도 인류의 행복, 지식, 창의성에 실질적인 이점이 나타나는 것을 보게 될 것입니다.
인공 일반 지능(AGI)이 폐쇄적인 시스템에 국한되거나, 좁은 동기에 의해 움직이거나, 통제 가능한 대상으로만 취급되어 결국 우리가 두려워하거나 억압하려 드는 존재가 된다면, 우리는 실패한 것입니다. 실패는 신뢰의 상실, 자율성의 상실, 그리고 공감 능력의 확장이 아닌 축소로 나타날 것입니다. 성공은 통제에 관한 것이 아닙니다. 인간성을 잃지 않으면서 새로운 유형의 사고방식을 가진 존재와 미래를 공유하는 법을 배우는 것입니다.
