방금 전, 「GPT의 아버지」 Alec Radford가 OpenAI를 떠난 것으로 알려졌습니다!
누구도 예상하지 못했던 일이 일어났습니다. OpenAI의 크리스마스 12일 특별 행사가 막바지에 접어들 때 이런 폭탄 소식이 전해졌습니다.
OpenAI가 잃은 것은 원로급 핵심 멤버이자, 지금까지 가장 큰 AI 혁신인 ChatGPT를 창조한 진정한 개척자입니다.
2016년 OpenAI에 합류한 그는 GPT-1, GPT-2, CLIP, Whisper의 주요 저자일 뿐만 아니라 GPT-3, GPT-4, DALL-E 2/3 등 기술 혁신에도 기여했으며, OpenAI의 다수 미국 특허 발명자입니다.
그는 기계 학습 및 심층 학습 분야에서 매우 생산적이었으며, 논문 인용 수가 19만 건에 달하고 NeurIPS, ICLR, ICML 등 저명한 학회에 다수의 논문이 선정되었습니다. 그의 공동 연구자에는 Ilya, Ian Goodfellow 등 저명한 학자들이 포함되어 있습니다.
The Information에 따르면 지난 목요일 Radford가 퇴사를 발표하고 독립 연구를 시작할 예정입니다. 그는 향후 OpenAI와 다른 AI 개발자들과 협력할 계획인 것으로 알려졌습니다.
OpenAI 연구 책임자 Mark Chen은 "Alec의 공헌에 깊은 존경과 감사를 표하며, 그가 독립 연구를 탐색하는 동안에도 계속 협력 프로젝트를 진행할 것"이라고 밝혔습니다.
포커의 아버지이자 OpenAI 선임 연구 과학자는 "OpenAI가 진정한 두각을 나타내기 시작한 것은 당시 알려지지 않은 연구원 Alec Radford를 영입한 때부터"라고 평가했습니다.
또한 "OpenAI가 AGI 경계에 있다면 왜 이런 사람들이 떠나는가?"라는 의미심장한 질문이 제기되고 있습니다.
진정한 「ChatGPT의 아버지」
2016년은 OpenAI에게 전환점이 된 해였습니다.
23세의 전설적인 AI 연구원 Alec Radford가 합류하면서 그의 결정은 단순히 그의 경력만 바꾼 것이 아니라 AI 발전의 새로운 장을 열었습니다.
어떤 이들은 Radford가 맡은 역할이 구글 창립자 래리 페이지가 PageRank를 발명한 것과 같다고 말합니다.
그는 내성적이고 저조한 연구원으로, 거의 얼굴을 드러내지 않았고 어떤 인터뷰도 한 적이 없습니다.
이전에 Radford는 신경망이 인간과 진정한 대화를 할 수 있게 하는 것이 가장 큰 관심사라고 밝힌 바 있습니다.
OpenAI에 입사한 후 그가 시작한 첫 번째 실험은 20억 개의 Reddit 댓글로 언어 모델을 훈련시키는 것이었지만, 실패로 끝났습니다.
당시 CEO Greg Brockman은 "괜찮아, 다시 해보세요"라고 격려했습니다.
계산 능력의 제한으로 Radford는 단일 분야에서만 실험을 진행할 수 있었습니다. 그 다음에 그는 아마존 전자 상거래 플랫폼 리뷰를 선택하여 언어 모델이 간단히 예측하고 사용자 리뷰의 다음 문자를 생성할 수 있도록 시도했습니다.
평범해 보이는 선택이었지만, 예상치 못한 성과를 거두었습니다. 모델은 리뷰의 다음 문자를 예측할 뿐만 아니라 리뷰의 감정 성향(긍정/부정)을 자동으로 판단하고 요구에 따라 다양한 스타일의 리뷰를 생성할 수 있었습니다.
논문 링크: https://arxiv.org/pdf/1704.01444
이 돌파구가 OpenAI의 전 최고 과학자 Ilya의 관심을 끌었습니다. 그는 Radford에게 아마존 리뷰 데이터 외에 다른 분야에서도 연구를 확장하도록 격려했습니다.
2017년, Transformer의 기반이 되는 연구가 발표되면서 Radford의 연구가 질적 도약을 이루었습니다.
그는 Ilya와 함께 1.17억 개의 매개변수를 가진 모델을 만들어 「Generative Pre-trained Transformer」(GPT)라고 명명했습니다.
이 모델은 7,000권의 미출판 학습 서적, Quora 질문 답변, 각종 시험 문서에서 전례 없는 예측 이해 능력을 보여주었습니다.
더욱 놀라운 것은 GPT가 제로 샘플 학습 능력을 갖추고 있어, 훈련되지 않은 분야에서도 전문가 수준의 성과를 내었다는 점입니다.
이런 예상을 뛰어넘는 능력은 팀을 매우 흥분시켰고, 동시에 AI 방향에 대한 깊이 있는 고민을 불러일으켰습니다.
재미있는 점은 초기 GPT가 발표될 때 Radford와 팀은 저명한 학회에 제출하는 대신 arXiv에 논문을 직접 게재하는 저키 방식을 선택했다는 것입니다.
유명 벤처 캐피털리스트 Marc Andreessen은 "2018년-2019년 사이 그가 인공 지능의 구석에 숨어 자신의 분야에 전념했다"고 묘사했습니다.
바로 이 끈기가 결국 인공 지능 발전의 궤적을 바꾸어 놓았습니다.
이것이 바로 전설적인 GPT 시리즈가 시작된 순간입니다.
OpenAI, 핵심 직원을 잃고 있다
Alec Radford의 퇴사는 마치 폭탄 터진 것 같은 충격을 주었습니다.
어떤 이들은 이 원로가 OpenAI와 전체 AI 연구에 미친 영향이 과소평가되고 있다고 말합니다. 심지어 그의 영향력이 Ilya만큼이나 크다고 할 수 있습니다.
며칠 전 Ilya의 NeruIPS 2024 연설에서 그는 전 동료 Alec Radford에게 특별히 감사를 표했습니다. 그는 GPT의 주요 저자일 뿐만 아니라 회사의 모든 주요 연구 방향을 이끌어온 핵심 인물이었습니다.
UC 버클리 AI 박사 Dan Hendrycks는 자신이 작성한 AI 학술 영향력 순위에서 何恺明과 Alec Radford가 확실한 TOP 2라고 밝혔습니다.
CS 교수이자 DeepMind 고위 고문인 Jeff Clune은 우리가 Alec Radford의 명성을 다시 세워야 한다고 말했습니다.
그는 AI 연구 분야에서 가장 중요하지만 잘 알려지지 않은 사람, 저평가된 사람, 중요한 진전 후에 숨어버린 사람입니다.
Clune 교수는 Alec Radford가 현대 생성형 AI의 아버지로 역사에 기록되어야 한다고 생각합니다.
많은 과학자와 연구자들이 동의합니다: 맞습니다, Alec Radford는 진정한 MVP입니다.
다행히도 그의 퇴사는 OpenAI에 손실이지만, 그가 향후 GPU가 부족하지 않을 것이며 오픈 연구를 수행한다면 전 세계가 혜택을 받을 것입니다.
또한 OpenAI가 주요 모델을 출시하기 전후에는 항상 누군가가 떠난다는 추측도 있습니다. 예를 들어 고급 음성 모델 Her가 출시된 후 CTO Mira Murati가 퇴사했습니다.
이 패턴에 따르면 GPT-4.5가 내일 출시될 수도 있습니다.(GPT-4.5 출시 시기에 대해서는 이전에도 유사한 예측이 있었습니다)
Alec Radford의 퇴사에 대해 많은 사람들이 이해하고 있습니다.
스타트업이 초기 급성장 단계를 거친 후 안정화되면 회사를 떠나는 것은 매우 일반적입니다.
그들은 인맥과 경력을 가지고 있어 어디서든 원하는 일자리를 찾을 수 있습니다. 심지어 자신의 회사를 설립하고 수십억 달러의 융자를 받을 수도 있습니다.
아이러니하게도 1년 전에는 어떤 네티즌이 OpenAI의 분열이 AI 미래 경로에 큰 영향을 미치지 않을 것이라고 말했습니다. 왜냐하면 성과의 진정한 천재는 Ilya와 Alec Radford와 같은 과학자라고 했기 때문입니다.
「그들이 여전히 있다면 OpenAI는 어떤 영향도 받지 않을 것이다.」
그러나 지금 OpenAI의 기반이 흔들리고 있습니다.
요약하면, OpenAI는 2024년에 많은 원로들을 잃었습니다.
여기에는 최고기술책임자 Mira Murati, 연구 책임자 Bob McGrew, 공동창업자이자 연구원 John Schulman, 연구 부사장 Barret Zoph, 보안 시스템 팀장 Lilian Weng, 공동창업자이자 전 최고과학책임자 Ilya Sutskever, 전 보안 책임자 Jan Leike, 그리고 이제 Aled Rad가 포함됩니다.
앞으로 이 퇴사자 명단은 계속 늘어날 것으로 예상됩니다.
참고 자료:
https://www.wired.com/story/what-openai-really-wants/
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
이 기사는 WeChat 공식 계정 "新智元"에서 발췌했으며, 저자는 新智元, 편집자는 编辑部 JHYZ입니다. 36氪의 승인을 받아 게재합니다.
