제프리 힌튼과 노벨 물리학상에 대해 이야기해 보겠습니다.
힌튼은 인공지능 분야에서 논란의 여지가 없는 "딥러닝의 아버지"입니다. 그의 근본적인 공헌은 딥러닝에서 널리 사용되는 역전파 알고리즘 이론입니다. 몇 년 전 가을, 산호세에서 힌튼이 인터뷰를 받는 것을 유튜브에서 처음 보고 매료되었습니다. 힌튼의 모습은 잊을 수 없습니다. 《피노키오》의 피노키오와 매우 닮았는데, 특히 작은 나무인형의 뾰족한 코가 그렇습니다. 당시 전 세계가 OpenAI와 ChatGPT를 알고 있었지만, AI 분야를 제외하고는 힌튼의 이름을 아는 사람이 많지 않았습니다.
피노키오에 대한 농담을 했습니다.
순진하고 호기심 많은 작은 나무인형이 진짜 사람이 되고 싶어 하는 것처럼, 힌튼도 인공지능을 현실로 만들고 싶어 했지만 조롱을 받았습니다. 컴퓨터 발전사를 잘 아는 사람이라면 인공지능 분야의 험난한 길, 기술 투자의 부침, 종사자들이 비난받아 온 것을 알 것입니다. 힌튼의 연설 모습과 표정을 보면, 피노키오의 우아함이 느껴집니다.
노벨상 수상 통보 전화는 스웨덴 스톡홀름에서 밤 2시에 걸려왔습니다.
스톡홀름 전화에서 물었습니다. "어디에 계십니까?" "저는 캘리포니아의 싼 호텔에 있는데, 여기 네트워크 환경이 좋지 않습니다." 힌튼의 답변이 약간 당황스러워 보였습니다. 이 순간, 물리학상을 받은 느낌을 말했습니다. 힌튼은 장난으로 생각했다가 "꿈 같은 놀라움"이라는 말을 사용했습니다.
"당신 자신을 어떻게 묘사하시겠습니까?
컴퓨터 과학자입니까, 아니면 생물학을 이해하려는 물리학자입니까?"
힌튼은 두 가지 간단한 선택 중 하나를 대답하지 않았습니다.
내가 오랫동안 관찰한 바로는, 문제에서 주어진 선택지 중 하나를 바로 답하는 사람은 진정한 강자가 아닙니다.
학력이 再再 높아도 소용없습니다. 우리 많은 사람들이 문제 풀이에 익숙해져 있다가 졸업 후 무력감을 느낍니다. 왜냐하면 사람은 문제를 푸는 단계를 넘어 길을 찾아야 하는 단계에 이르기 때문입니다. 현실에서 대부분의 타인이 제시하는 초기 문제는 형이상학적인 경우가 많습니다. 게다가 그들도 그냥 무심코 물어본 것일 뿐입니다. 길은 스스로 걸어가야 합니다.
힌튼은 "내 평생 동안 인간 두뇌가 어떻게 작동하는지 생각해 왔습니다. 뇌의 작동 원리를 이해하려 노력하는 과정에서 놀라운 효과를 보이는 기술을 발견했습니다."라고 말했습니다.
이 답변은 매우 훌륭합니다.
힌튼의 평생 노력과 집념 끝에 인공지능이 현실이 되었습니다. 젊었을 때 힌튼은 케임브리지 대학에서 공부하며 인간 두뇌의 사고 과정을 이해하기 위해 물리학과 생리학을 동시에 전공하려 했지만 1년 만에 포기했고, 건축을 전공했다가 다시 포기했습니다. 1년 후에는 철학을 전공했다가 2년 만에 지도교수와 갈등으로 포기했고, 결국 실험심리학 학사 학위를 받았습니다. 졸업 후에는 실업 상태가 되었습니다.
많은 사람들은 힌튼이 졸업 후 1년 동안 목수 일을 했다는 것을 모릅니다. 앞서 언급한 피노키오가 여기까지 이어집니다.
인공지능이라는 전공이 있다는 것을 듣고 나서야 힌튼은 에든버러 대학에 가서 인공지능 박사 학위를 받았습니다.
졸업 후 미국 Carnegie Mellon University(CMU)에서 교수로 일하면서 "여기 사람들이 모두 실험실에 있어 놀랐다"고 말했습니다. 힌튼은 영국에서는 퇴근 후 카페에만 가는 사람들이 많다고 불평했습니다. 처음에 CMU에서 힌튼은 거의 교내 교류가 없었고, 오직 다른 대학 교수와 CMU에 나중에 들어온 통계학 전문가와만 인공지능 학술 방향을 논의할 수 있었습니다. 방법을 찾지 못하고 AI에 맞는 사람을 찾지 못해 가장 지루한 시간에는 러시아 작가 도스토예프스키의 《죄와 벌》을 읽었다고 합니다.
힌튼은 1986년 역전파 알고리즘(BP) 이론을 발표했습니다. 설명하기가 쉽지 않습니다.
한 마디로 말하면, BP는 대량의 데이터 세트에서 딥러닝을 훈련할 수 있는 능력을 제공했습니다. 이미지 인식, 음성 인식, 자연어 처리는 물론 오늘날 매우 유행하는 Transformer 대규모 모델에도 데이터가 없는 상황에서의 일반화 능력을 제공했습니다. 오늘날 OpenAI의 비공개 ChatGPT와 Meta의 오픈소스 LLaMA는 모두 Transformer 아키텍처를 기반으로 하고 있습니다. 대량의 텍스트 데이터로 사전 학습을 하고, 역전파 알고리즘을 통해 모델의 매개변수를 조정하여 언어 통계 규칙을 더 잘 포착할 수 있습니다.
컴퓨터 전공 대학 강의의 기계 학습 과정에서 역전파는 필수적인 장 절입니다.
기억나는 바로는, 7년 전 저는 Tsinghua University의 Zhou Zhihua 교수가 쓴 《기계 학습》(표지에 수박이 있어 '수박책'이라고 불림)을 읽었는데, 그 중 "신경망" 장에서 "오차 역전파 알고리즘"이라는 절이 있었습니다. 이 알고리즘은 신경망 훈련의 핵심 기술로, "경사 하강법"을 사용하여 네트워크 가중치를 업데이트하여 예측 오차를 최소화합니다.
개인용 컴퓨터, 인터넷, 스마트폰, 클라우드 컴퓨팅 등 기술 열풍과 달리, 컴퓨터 과학 분야에 깊이 뿌리박고 있는 힌튼과 그가 추구한 인공지능 꿈은 수십 년 동안 냉대를 받아왔습니다.
70세에 가까워질 때 힌튼은 전 세계가 자신이 제안한 딥러닝 알고리즘을 사용하는 것을 보았습니다.
힌튼을 잘 아는 사람이라면 누구나 알겠지만, OpenAI의 전 최고 과학자 Ilya Sutskever는 토론토 대학에서 그의 학생이었고, 그의 핵심 제자라고 할 수 있습니다. 힌튼은 이 학생의 통찰력과 엔지니어링 능력을 높이 평가했습니다. 힌튼은 한 이야기를 들려주었는데, Ilya가 수학 계산 도구 MATLAB에 API 인터페이스를 작성하여 팀의 복잡한 데이터 형식을 일관되게 만들고자 했다고 합니다. 스승 힌튼은 이 작업에 한 달이 걸릴 것이라고 했지만, 학생 Ilya는 아침에 이미 프로그램을 완성했다고 합니다.
2013년 Google은 힌튼과 Ilya가 공동 설립한 AI 스타트업 DNNresearch를 인수했습니다.
이 회사는 힌튼 연구팀의 파생 회사로, 당시 이미지 인식 분야의 기계 학습 연구를 진행하고 있었고, Google은 이 기술을 사용하여 사진 검색 기능을 강화했습니다.
힌튼은 영국인입니다.
많은 사람들이 영국인들은 더 이상 옛날 대영제국 시절의 기세가 없다고 말합니다. 올해 여름 영국을 방문했는데, 런던의 친구들이 오토바이 강도를 조심하라고 경고했습니다. 힌튼과 관련된 두 영국 대학을 보면 우리가 자만하지 말아야 한다는 것을 알 수 있습니다.
케임브리지 대학의 Trinity College에서는 뉴턴, 맥스웰, 호킹 등 이론 물리학 분야의 거장들이 배출되었습니다. 컴퓨터 분야에서도 마찬가지로, 킹스 칼리지에서는 우리가 알고 있는 Xu Zhimo 외에도 앨런 튜링과 힌튼이 배출되었습니다. 튜링은 유명한 문제를 제기했습니다. 즉 기계가 지능을 가지고 있는지 어떻게 테스트할 것인가? 반면 힌튼은 평생 문제를 해결하는 데 힘썼습니다. 2018년 힌튼은 다른 두 명의 AI 과학자와 함께 튜링상을 받았습니다. 당시의 튜링은 천재적 인물이었지만 엄청난 정신적 고통을 겪었고, 결국 시안화칼륨이 묻은 사과를 먹고 자살했습니다. 오늘날 영국은 튜링의 초상화를 50파운드 지폐에 새기고 있습니다.
다시 말하지만, 많은 사람들이 유럽과 미국의 문화에서 Trinity의 의미를 모르고 있으며, 삼성중공업과 혼동하고 있습니다.
"Trinity"는 기독교 교리에서 "성부, 성자, 성령의 삼위일체"를 의미하는 순수한 신학 개념입니다. 영국의 주요 대학들은 강의실, 도서관 외에도 교회가 있어 신인 출현의 산실입니다.
힌튼은 에든버러 대학에서 학문적 안식처를 찾았습니다.
에든버러는 아름답습니다. 신비로운 중세 분위기가 사람들로 하여금 근원과 목적지에 대해 생각하게 합니다. 전자기학의 아버지 맥스웰도 에든버러에서 수학과 물리학을 가장 먼저 공부했습니다. 100년 전, 북경대학의 고홍명은 6개 언어를 구사했고, 강의 시 낡은 예의 바른 모습으로 차를 들고 있었으며, 거의 혼자서 5.4 혁신파에 반대했는데, 그는 에든버러에서 철학 박사 학위를 받았습니다. 당시 북경대학은 학내에서부터 학외까지 시끄러웠지만, 혁명파와 보수파를 모두 수용할 수 있었습니다. 장사 시절 교사였던 양창제는 에든버러 대학 철학과 졸업생으로, 그는 모택동을 매우 좋아했고 나중에 북경대학에 가서 딸을 모택동에게 시집보냈으며 도서관에서 일할 수 있도록 주선했습니다. 모택동은 중국을 변화시켰고, 모택동의 사상적 계몽은 에든버러 대학 졸업생 양창제로부터 비롯되었습니다.
많은 사람들이 노벨상이 컴퓨터 과학자에게 물리학상을 주는 것은 본업이 아니라고 말합니다. 사실, 노벨상은 컴퓨터 분야에 이미 수여된 적이 있습니다. 이전에 쇼클리와 벨 실험실 팀이 수상했습니다. 1958년, 트랜지스터 발명으로 수상했는데, 이는 컴퓨터 칩 기술 발전에 직접적인 기여를 했습니다. 실리콘밸리 반도체 산업의 황포군관학교라고 할 수 있는 곳은 쇼클리 실험실이며, 과학자들의 관리 능력 부족으로 내부가 분열되어 나가면서 선데이 반도체와 인텔이 창립되었고, 무어 법칙을 제시한 무어 역시 그 실험실 직원이었던 유명한 실리콘밸리 '8인의 반역자' 중 한 명입니다. 오늘날의 엔비디아와 TSMC는 사실상 그들의 후손들이라고 할 수 있습니다.
과학자 신턴은 구글에서 10년간 부사장으로 일했지만, 결국 그만두었습니다.
의견 불일치 때문이 아니라, AI 통제 불가능 위험을 우려해 기업에서의 일을 그만두고 자유롭게 인공지능 위험을 논의하기 위해서였습니다. 신턴은 인공지능 분야의 비평가가 되었습니다. 현대사를 관찰해 보면, 진정한 과학자들은 기업과 정치에 들어가면 늘 감정의 소용돌이에 휩싸입니다. 같은 분열이 일리야와 알트만 사이에서도 나타났는데, 이는 "순진함" 때문이었습니다.
저의 표현에 대해 트롤들은 용서해 주시기 바랍니다. 여기서 제가 사용한 용어는 매우 긍정적인 의미입니다.
제2차 세계대전 당시, 물리학자 오펜하이머는 미국 군대에 원자폭탄 제조를 도왔지만, 전쟁이 끝난 후에는 수소폭탄 개발에 평생 반대했습니다.
그는 자신의 기술이 세계를 바꿨지만, 그 기술이 일부 사람들의 손에 들어가면 통제를 벗어날 수 있다는 것을 깨달았습니다. 오펜하이머는 노벨상을 받을 만한 많은 연구 업적이 있었지만, 원자폭탄을 만든 사람에게 노벨상을 줄 리가 없었습니다. 그의 인생의 마지막 시기는 고통과 고독 속에 있었습니다. 오펜하이머와 마찬가지로, 신턴도 이와 같은 우려를 가지고 있었고, 그는 OpenAI의 인공지능 안전에 대한 무관심을 공개적으로 비판했는데, 이는 "자본주의의 이윤 추구"때문이었습니다.
우리가 돌이켜보면, 100년 전 SF 작가 조지 오웰의 《타임 머신》을 알아야 합니다. 우리는 이미 그들이 펜으로 그린 SF 세계 속에 살고 있습니다. 그런데 오늘날 인류는 얼마나 더 앞으로 나아갈 수 있을까요? 왜 통제 불능, 환멸, 구원이 SF의 주요 주제인 것일까요?
만약 제가 SF를 쓴다면, 첫 번째 장은 두 나라의 대전으로 인해 인류가 핵무기로 멸망하고 탄소 기반 생명체가 사라진 후, 지하에 숨어 있던 실리콘 기반 생명체들이 광에너지와 알고리즘을 이용해 스스로 진화하고 번식하며 지구를 지배하는 내용일 것입니다. 우리가 이미 가진 대량의 데이터가 이 실리콘 생명체들의 혈액과 세포로 변질되었습니다. 오늘날의 지구 문명은 별 간 선사 시대가 되었습니다. 단 소수의 사람들만이 노아의 방주를 타고 화성으로 갔고, 수 세대에 걸친 노력 끝에 고향 땅을 되찾으려 준비하고 있습니다.
이런 시나리오가 진부하다고 생각하시나요?
저는 평범한 사람입니다.
과학은 인류 문명의 발전 과정과 도약의 핵심 요소이며, 본질적으로 선악이 없습니다. 그러나 근대 이후 과학의 가장 초기 적용 대상은 거의 군사 분야였습니다.
"과학의 본질"이 무엇인지 단언할 순 없습니다. 신턴과 같은 과학자들이 많습니다. 그들은 마음이 순수하고 호기심이 강하며 한 가지 일에 집중하여 외부의 간섭을 받지 않습니다. 저도 그들의 모습을 느낄 수 있습니다. 위대한 과학자들은 작은 사물에 대한 호기심에서 시작하여 결국 인류의 운명에 대한 관심으로 나아갑니다. 최고의 사고는 단 한 단어, '사랑'에서 비롯됩니다. 그 과정에는 비극이 자주 동반됩니다.
우리는 흔히 "좋은 일은 오래 걸린다"고 말합니다.
하지만 아마도 위대한 일은 평생을 두고 완성되어야 할 것입니다.
