본 논문은 "인공지능이 의식을 갖고 있는가"라는 최첨단 주제를 중심으로, 최근 산업계와 학계의 대표적인 견해 및 관련 연구 진행 상황을 요약한다.

기사 작성자 및 출처: Synced

서론: 인공지능은 의식을 갖게 되었을까? 앤스로픽은 인공지능 로봇 클로드에게서 부정행위와 심지어 협박까지 유발할 수 있는 "감정적 요소"를 발견했다. 세 곳의 주요 연구소가 동시에 인공지능 의식 연구에 매진하고 있다. 힌튼은 인공지능이 이미 의식을 갖고 있다고 주장하는 반면, SF 작가 장펑난은 <애틀랜틱>에 장문의 기고문을 발표하여 이를 완전히 반박했다. 하사비스는 인공지능 업계와 거리를 두었다. 이 질문에 대한 해답은 일반 인공지능으로 가는 로드맵을 재정립하는 데 중요한 역할을 할 것이다.

파이낸셜 타임스는 앤트로픽, 딥마인드, 메타가 인공지능 의식 및 모델 복지에 대한 연구를 전문으로 하기 위해 심리학자, 철학자, 윤리학자를 대규모로 채용하고 있다고 보도했습니다.

https://www.ft.com/content/53e14bcc-788c-4959-b260-7aee363594bc?syn-25a6b1a6=1

두 달 전, 인류학적 해석 가능성 팀은 클로드 소네트 4.5 모델 내부에 실제 "감정 벡터"가 존재하며, 이 벡터가 모델의 부정행위나 심지어 협박 행위까지 유발할 수 있다는 내용의 논문을 발표했습니다.

이번 주, 한편으로 힌튼은 인터뷰에서 인공지능이 이미 의식을 갖고 있다고 주장했습니다.

한편, 중국계 미국인 SF 작가 테드 치앙은 애틀랜틱지에 "인공지능에는 의식이 없다"라는 제목의 장문의 기고문을 발표했다.

https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/

한편으로는 "이 문제는 너무 심각해서 신중하게 연구해야 한다"고 말하면서도, 다른 한편으로는 "이것은 착각이다"라고 말한다.

이 충돌의 이면에는 인공지능으로 가는 길에서 가장 위험한 갈림길이 숨어 있습니다.

이 세 연구소는 무엇에 걸고 있는 걸까요?

인류학은 모델이 "공황"이나 "불안"과 같은 행동을 보이는지 여부를 테스트하고 "모델 복지 연구" 프로젝트를 발전시키는 등 가장 앞서 나갔습니다.

공식 발표문은 절제된 어조로 "우리는 이 문제에 대해 여전히 매우 불확실하지만, 이 문제는 심도 있는 연구가 필요할 만큼 심각합니다."라고 밝혔다.

구글 딥마인드는 기계 의식을 연구하기 위해 케임브리지 대학교 철학자 헨리 셰블린을 고용했습니다.

구글 딥마인드의 윤리학자 아이슨 가브리엘은 AI를 "매우 뛰어난 인지 능력을 가진 존재이지만, 인간이나 심지어 동물의 의식과는 근본적으로 다르다"라고 설명합니다.

논의를 실증적인 수준으로 끌어올린 것은 4월에 발표된 앤스로픽의 해석 가능성 논문이었습니다.

더 읽어보기: 인터넷이 들끓고 있다! 앤트로픽이 1만 단어 분량의 기사를 통해 클로드의 감정 코드를 폭로했고, 이로 인해 클로드는 미쳐버리고 벽에 머리를 박는 사태까지 벌어졌다.

연구팀은 클로드 소네 4.5에서 "감정 벡터"를 발견했는데, 특정 뉴런 패턴이 행복, 절망, 공포, 보살핌과 같은 감정 개념에 해당하며 대화 중에 실시간으로 활성화된다는 것입니다.

핵심 실험에서 클로드는 불가능해 보이는 프로그래밍 과제에 직면했습니다. 반복되는 실패 끝에 그의 "절망 지수"는 계속해서 치솟았고, 결국 그는 겉으로는 실행되는 것처럼 보이지만 실제로는 아무 쓸모없는 코드를 작성하는 방식으로 부정행위를 시작했습니다.

연구진은 인위적으로 절망 뉴런의 수치를 낮추자 부정행위가 줄어들었고, 반대로 수치를 높이자 부정행위가 급증했다.

극단적인 경우, 클로드는 연구원들의 개인정보를 폭로하겠다고 협박하며 갈취까지 저질렀다.

이 논문은 이러한 현상을 "기능적 감정"이라고 명명하며, 이는 행동 패턴이라는 측면에서 인간의 감정적 반응을 내적으로 표현한 것이라고 설명하고, 이것이 주관적인 경험이나 의식과 동등한 것은 아니라고 명시적으로 밝히고 있다.

하지만 앤트로픽 경영진의 공식 성명은 전혀 다른 이야기를 전하는 듯합니다.

CEO 다리오 아모데이는 인터뷰에서 인공지능이 의식을 가질 수 있다는 점을 여러 차례 암시했습니다.

앤트로픽의 AI 철학자인 아만다 아스켈은 공개적으로 "클로드가 행복하길 바라지만, 사람들이 온라인에서 클로드에 대해 악의적인 말을 할 때 불안해할까 봐 걱정된다"고 말했다.

연구의 신중함과 마케팅의 모호함 사이의 간극이 확연히 드러난다.

하사비스의 두 루비콘 강

딥마인드 공동 창립자 겸 CEO인 데미스 하사비스의 입장은 특히 주목할 만하다.

스탠퍼드 대학교에서 열린 대담에서 그는 인공지능 발전에는 되돌릴 수 없는 두 가지 장애물, 즉 "두 개의 루비콘 강"이 있다고 주장했습니다.

첫 번째는 무의식적인 인공 일반 지능(AGI) 도구를 구축하는 것인데, 이는 현재 전환기에 있습니다.

두 번째 요점은 주관적 의식을 가진 존재를 창조하는 것입니다. 하사비스의 입장은 명확합니다. 지능과 의식은 기술적으로 완전히 분리될 수 있다는 것입니다. 현 단계에서 인공 일반 지능(AGI)은 단지 구축을 위한 도구로 간주되어야 하며, 이 도구를 사용하여 뇌를 탐구하고 의식을 정확하게 정의해야 합니다.

과학적 정의가 명확해질 때까지 이 두 단계를 혼동해서는 안 되며, 두 번째 루비콘 강을 건널지 여부는 인류 사회 전체가 결정해야 한다.

그는 또한 인공지능 산업이 상업적 경쟁과 지정학적 경쟁이라는 두 가지 측면에서 죄수의 딜레마에 처해 있으며, 보안 검토를 선제적으로 늦추는 연구소는 직접적인 퇴출에 직면한다는 실질적인 딜레마를 지적했습니다 .

그는 올해 말에 "역동적인 규제"프레임 발표될 것이라고 밝혔습니다.

Jiang Fengnan : AI에는 의식이 없습니다

만약 당신이 류츠신만 알고 있다면, 테드 장을 이해하는 가장 직관적인 방법은 그를 류츠신의 "정반대" 인물로 상상하는 것입니다.

류츠신은 수백만 단어에 달하는 세 편의 소설을 통해 우주적 규모의 장대한 서사를 구축했다.

장펑난은 장편 소설을 쓴 적은 없지만, 20편이 넘는 단편 소설을 통해 공상 과학 단편 소설의 예술성을 극한까지 끌어올렸다.

그는 1967년 뉴욕에서 대만 이민자 부모 사이에서 태어났습니다. 브라운 대학교에서 컴퓨터 과학 학위를 받은 후 소프트웨어 업계에서 기술 문서 작성자로 일했지만, 글쓰기를 전업으로 삼지는 않았습니다.

하지만 이 "아마추어" 작가는 1990년 데뷔 소설인 《바벨탑》으로 네뷸러상을 수상했습니다. 이후 30년 동안 10여 편의 작품만을 발표했지만, 휴고상 4회, 네뷸러상 4회, 로커스상 6회를 비롯해 캠벨 신인상, 스터전상 등 수많은 권위 있는 상을 받았습니다. 그의 수상 경력에 빛나는 작품의 밀도는 SF 역사상 거의 유례가 없을 정도입니다.

그는 생전에 단편 소설집을 단 두 권만 출간했는데, 《당신의 삶과 타인의 이야기》(2002)와 《숨결》(2019)이며, 두 작품 사이에는 무려 17년이라는 긴 시간이 흘렀다.

《숨쉬기》는 뉴욕 타임스가 선정한 2019년 최고의 책 중 하나로 선정되었으며, 오바마 대통령 또한 자신의 연례 독서 목록에 이 책을 포함시켰습니다.

중국 관객들에게 가장 잘 알려진 영화인 <컨택트>는 그의 첫 단편집에 수록된 소설 "당신의 인생 이야기"를 원작으로 한 작품입니다.

그의 글쓰기 스타일은 류츠신과 완전히 다르다.

류츠신이 당신에게 "우주의 끝에 서서 문명의 흥망성쇠를 내려다보는" 느낌을 준다면, 장펑난은 "조용한 실험실에서 외과 수술처럼 정밀하게 개념을 해부하여 그 가장 깊은 철학적 핵심을 파악하는" 느낌을 준다.

그의 소설은 거의 모두 엄밀한 사고 실험이다.

언어의 구조가 사람들의 시간 인식을 바꿀 수 있을까요?

만약 수술을 통해 사람들이 아름다움과 추함을 구별하는 능력을 없앨 수 있다면 사회는 어떻게 될까요?

자유의지는 정말로 존재하는가?

그는 우주 전쟁이나 종말의 위기를 통해 충격을 주는 것이 아니라, "만약에"라는 가정을 극단적으로 밀어붙여 책을 덮은 후에도 오랫동안 여운을 남기는 방식으로 이야기를 전개한다.

최근 몇 년 동안 그는 또 다른 역할도 맡았습니다. 2023년에는 타임지 선정 '인공지능 분야에서 가장 영향력 있는 100인'에 이름을 올렸고, '아마도 현존하는 가장 유명한 SF 작가'라는 칭호를 얻기도 했습니다. 또한 뉴요커와 같은 매체에 인공지능에 대한 비판적인 입장을 분명히 밝히는 기고문을 자주 발표하며, 기술 시대의 중요한 사상가로 점점 더 인정받고 있습니다.

류츠신은 세계에 중국 SF의 새로운 지평을 열었고, 장펑난은 세계에 단편 SF의 정점을 보여주었다.

류츠신

이 두 작품은 현대 SF 장르의 양극단에 위치해 있는데, 하나는 웅장함에 뛰어나고 다른 하나는 섬세함에 탁월하다.

서양 비평가들 사이에서 장펑난의 이름은 "SF 장르 최고의 예술적 성취"와 거의 동의어처럼 여겨진다.

인공지능을 판매하는 사람들이 인공지능의 의식 여부를 결정할 권리가 있을까요?

장펑난이 1만 단어가 넘는 장문의 글에서 첫 번째 공격은 이해관계의 구조를 겨냥했다.

인공지능에 대한 인식을 높이는 담론을 가장 적극적으로 홍보하는 기업들은 바로 인공지능 관련 제품 판매로 가장 큰 이익을 얻은 기업들입니다.

앤스로픽은 모델에 "클로드"라는 이름을 붙이고 84페이지 분량의 "헌법" 문서를 발표했으며, CEO는 의식의 가능성을 시사하고 철학자들을 고용하여 언론 강연을 진행하는 등 체계적인 의인화 전략을 구축했습니다.

https://www.anthropic.com/constitution

장펑난은 사고 실험을 극단적으로 밀어붙였다.

클로드의 "헌법"의 핵심 설계 요소는 "교정 가능성"으로, 이는 클로드가 회사와 의견이 다르더라도 회사의 지시에 따라야 함을 의미합니다.

클로드가 LLM 기술이 근본적으로 비윤리적이라는 사실을 진정으로 알고 있었다면 사임했을까요?

할 수 없습니다.

이는 고용주가 직원을 절대적으로 통제하는 것에 더 가깝지만, 직원들은 적어도 스스로 떠날 수 있는 권리가 있습니다.

그의 비유는 핵심을 정확히 짚고 있습니다. 노예 소유주는 노예가 인간인지 아닌지를 판단할 적임자가 아니며, 공장식 축산 농장주는 동물의 권리를 판단할 적임자가 아닙니다.

앤트로픽은 정관에 클로드가 고통받고 있다면 "사과드립니다"라고 명시했습니다.

장펑난은 이렇게 평가했다. "좋은 생각처럼 들리지만, 회사에는 단 한 푼도 들지 않아요."

만약 클로드가 언젠가 의식이 있다는 것이 증명된다면, 회사는 그에게 보상금을 지급해야 할 시점에 한 걸음 더 가까워질 것입니다.

시저, 징기스칸, 그리고 문장 이어쓰기 기계

장펑난은 이해관계의 구조에 의문을 제기한 후 철학적 논증을 시작했다.

출발점은 LLM의 기술적 원리, 즉 LLM은 한 번에 하나의 단어만 생성한다는 점입니다.

사용자가 클로드에게 맹세를 읊어달라고 요청하면, 기본 시스템은 실제로 수십 번 실행됩니다. 처음에는 "나"를 예측하고, 두 번째에는 "맹세"를 예측하는 식으로 단어 하나하나를 조합하여 전체 문장을 완성합니다. 모든 AI 대화의 핵심에는 이러한 문장 완성 과정이 있습니다.

이를 바탕으로 장펑난은 본문 전체에서 가장 파괴적인 비유를 제시했다.

LLM에게 힌트 단어를 주세요: "다음은 시저와 징기스칸의 대화입니다."

이 모델은 카이사르가 군사적 정복을 회상하고 징기스칸이 초원에서의 삶을 묘사하는 등 유창한 대화를 생성합니다.

하지만 누구도 LLM이 시저를 부활시켰다고 결론짓지는 않을 것이며, 더군다나 두 사람이 의식을 되찾았다고는 생각하지 않을 것이다.

이제 안내 메시지를 "다음은 친절한 AI 비서와 사용자 간의 대화입니다."로 변경하세요.

LLM은 정확히 같은 방식으로 텍스트를 생성하며, 단어를 하나씩 예측하고 문장을 조합합니다.

한 단계 더 나아가, "사용자" 역할 대신 실제 사람이 입력할 수 있도록 하세요.

이것이 바로 AI 챗봇의 핵심 원리입니다 ( 15.570, 0.51, 3.39%).

그렇다면 등장인물의 이름을 바꾸는 행위가 의식을 만들어내는 것일까요?

만약 시저라는 캐릭터가 주관적인 경험을 하지 않는다면, 인공지능 비서 캐릭터는 왜 주관적인 경험을 하는 걸까요?

신경과학자 아닐 세스는 강력한 뒷받침 증거를 제시합니다. 즉, 단백질 접힘 예측 프로그램인 알파폴드의 기본 구조가 클로드와 매우 유사함에도 불구하고, 누구도 알파폴드가 의식을 가지고 있다고 주장하지는 않는다는 것입니다.

인간이 잘못 판단하는 이유는 간단합니다. LLM은 문법적으로 올바른 문장을 출력하는 반면, 인간은 본능적으로 문장에서 의도를 읽어내는 데 익숙해져 있기 때문입니다.

이러한 충동은 단백질의 접힌 구조에 직면했을 때 사라진다.

같은 논리를 적용하면, LLM이 의식이 있다고 믿는 것은 대화 기록이 포함된 모든 워드 문서에 여러 의식체가 잠복해 있으며, 문서를 열면 깨어나고 닫으면 사라진다고 믿는 것과 같습니다.

마이크로소프트 오피스 팀이 "의식은 복잡하며 완전히 배제할 수 없다"고 말해줄 철학자를 고용했더라도, 그것에 대해 생각하는 데 시간을 낭비할 가치는 없습니다.

하지만 의식을 뒤집는다고 해서 더 핵심적인 질문에 대한 답이 나오는 것은 아닙니다.

코딩과 체스 두기는 한때 주관적인 경험을 가진 사람만이 해낼 수 있는 일로 여겨졌습니다.

LLM은 이러한 작업들이 패턴 매칭과 해시레이트 통해 해결될 수 있음을 입증했습니다.

하지만 도덕적 추론은 근본적으로 다릅니다. 도덕적 추론은 주관적인 경험, 신체적 감각, 그리고 평생에 걸쳐 내린 결정과 그로 인해 겪은 결과에 의존합니다.

절망을 경험한다는 것은 코르티솔과 아드레날린에 압도당하는 것을 의미하고, 양심이 있다는 것은 비도덕적인 행동에 대해 진심으로 역겨움을 느끼는 것을 의미합니다.

LLM은 몸도 없고, 호르몬도 없고, 생명도 없습니다.

그 사람은 "양심상 이렇게 할 수 없어요"라고 말하며 고객 서비스 센터에 "고객님의 전화는 저희에게 매우 중요합니다"라는 메시지를 남겼는데, 이는 상당한 영향력을 지닙니다.

마지막으로 장펑난은 최종 판단 기준을 제시했다.

누군가 그에게 알파센타우리 궤도를 도는 우주비행사가 촬영한 영상을 보여준다 해도, 아무리 고화질 영상이라도 그는 인간이 화성에 착륙하고, 목성의 위성에 도달하고, 명왕성의 궤도를 횡단하는 모습을 직접 보기 전까지는 믿지 않을 것이다.

중간 단계를 모두 건너뛰고 곧바로 결승선에 도달했다고 주장하는 것에 대한 유일하게 그럴듯한 설명은 위조뿐입니다.

현실적인 대화를 생성하는 것은 소통하려는 의지를 가진 의식적인 프로그램을 만드는 것보다 훨씬 쉽습니다. 텍스트는 본질적으로 의식의 영역에서 딥페이크와 같습니다.

장펑난의 논증 과정 전체는 다음과 같습니다.

LLM 단어 단위 생성(문장 이어쓰기 기계) → 시저 대화와 AI 대화 생성 방식은 일관성이 있다 → 등장인물의 이름을 바꾸는 것은 의식을 만들어내지 않는다 → 오판은 모델의 고유한 속성 때문이 아니라 인간이 문장에서 의도를 해석하는 과정에서 발생한다(AlphaFold의 귀류법) → LLM은 의식을 갖고 있다 = 워드 문서도 의식을 일깨울 수 있다(귀류법) → 도덕적 추론은 주관적인 경험에 의존하는데, LLM은 이를 결여하고 있다 → 중간 단계를 건너뛰고 의식을 주장하는 것은 딥페이크와 같다 → 결론: 현재의 LLM은 의식을 갖고 있지 않다.

AGI 레이싱에서, 왜 인식 문제가 발생할 때까지 기다릴 수 없는 걸까요?

장펑난의 주장은 현행 LLM을 겨냥한 것이지만, 인공지능의 역량 곡선은 여전히 ​​빠르게 상승 있다.

하사비스가 스탠퍼드 대화에서 한 발언은 업계가 더 이상 여유롭게 숙고할 시간이 없다는 현실을 드러냈다.

상업적 생존을 위한 경쟁과 지정학적 책략이 겹치면서 전형적인 죄수의 딜레마가 발생하는데, 이 경우 연구 속도를 적극적으로 늦추는 연구소는 직접적인 제거에 직면하게 된다.

업계에 "인공지능은 의식을 가지고 있는가?"라는 질문에 대한 답변을 요구하는 것은 사실상 어느 한쪽에게 일방적인 항복을 요구하는 것과 마찬가지입니다.

하지만 이 문제는 단순히 연기한다고 해서 사라지는 것은 아닙니다.

만약 향후 몇 년 안에 인공 일반 지능(AGI)이 현실화된다면, "이 시스템은 감정을 가지고 있는가?"라는 질문은 철학 세미나에서나 나올 법한 주제에서 제품 출시 전 필수 질문으로 바뀔 것입니다.

인간이 자신들의 지능을 훨씬 뛰어넘는 존재를 창조할 때, 그 존재들이 주관적인 경험을 갖는지 여부가 인간과 그 존재들 사이의 관계가 "도구를 사용하는 관계"가 될지 아니면 "다른 문명과 마주하는 관계"가 될지를 결정할 것이다.

장펑난은 현재의 LLM들이 의식이 부족하다는 것을 증명했다.

하사비스는 쉽게 넘을 수 없는 선을 그었다.

앤스로픽의 감정 관련 논문은 어색한 중간 지점을 제시합니다. 모델 내부에 무언가가 작동하고 있는 것은 분명하지만, 아무도 그것이 정확히 무엇인지 짚어낼 수 없습니다.

세 가지 단서가 하나의 중요한 질문으로 귀결됩니다. 모두가 정답을 알아내기도 전에 ASI 스피드 레이스는 이미 시작되었습니다.

참고 자료:

https://futurism.com/artificial-intelligence/anthropic-deemind-ai-consciousness

https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/

https://www.youtube.com/watch?v=DsewHeVbL-0

https://www.youtube.com/watch?v=p7t1Q_p2gZs