OpenAI又跑了一名大神!
The Information消息,初代GPT論文第一作者Alec Radford也要離開OpenAI,轉向獨立研究。
據瞭解, Alec於2016年加入OpenAI,從初代GPT到GPT-4o的論文中全都有他的名字,其中前兩代還是第一作者。
另外OpenAI的多模態模型CLIP,還有語音識別模型Whisper,論文一作也都是Alec。
對於Alec的離開,OpenAI研究負責人Mark Chen表示,“我們對Alec和他的貢獻深表敬意和讚賞,並期待在他探索獨立研究的過程中繼續與他合作。”
之前,前任研究團隊負責人Jeff Clune(已於2022年離開OpenAI,現在是不列顛哥倫比亞大學副教授,同時給DeepMind擔任顧問)還對Alec給予過很高的評價,認為Alec是影響力最大但知名度最低的AI科學家之一。
甚至在Jeff看來,Alec應該作為“現代生成式人工智能之父”被載入史冊。
堅持做大模型的本科生,前兩代GPT一作
2016年,Alec Radford於富蘭克林·歐林工程學院(Franklin W. Olin College of Engineering)取得學士學位,隨後加入OpenAI,一干就是8年。
雖然Alec只有本科學歷,但在大模型領域是不折不扣的領軍人才,截至今日論文被引量已超19萬。
被引量排名前三的論文,分別與GPT-3、CLIP和GPT-2相關。
這三篇論文都為今天的ChatGPT打下了重要基礎,實際上,Alec幾乎參與了OpenAI所有的重大突破。
除了被引量最高的這三篇,從第一代GPT到GPT-4o的作者名單中,Alec的名字都赫然在列,並且前兩代中都是第一作者。
Alec同樣作為一作的CLIP,則是OpenAI在多模態路線上的重要成果,甚至在整個行業都極具影響力;同時,Alec也是OpenAI初代繪圖模型DALL·E的參與者。
其他模態方面,OpenAI開源的語音識別系統Whisper,一作仍然是Alec……
不過,最新的o1模型貢獻者列表中已經沒有了Alec的名字,但與他一同從初代開始參與所有GPT工作的Ilya,仍然在o1的名單之上。
但無論如何,綜觀整個OpenAI,其他人或多或少都轉向過機器人、或是遊戲AI等其他領域“發發論文”,只有Alec堅持做大模型方向的研究。
正是他所堅持的大語言模型路線,改變了OpenAI公司、乃至整個AI領域的發展方向。
對此,奧特曼還曾半調侃半認真地表示:
招聘時,記得關注那些“看起來不會加入公司”的人。
OpenAI一開始並未確定大模型這一研究方向,但我們仍然招了AI研究員,並在取得突破後讓更多人加入其中,最終成就了ChatGPT。
在加入OpenAI之前,Alec研究了卷積神經網絡、批量歸一化和GAN,是DC-GAN的第一作者。
DC-GAN的另外兩名作者,是Alec的同學Luke Metz和PyTorch之父Soumith Chintala。
彼時,還在上學的Alec已經參與創立了indico.io(現名為Indico Data),Luke也加入到了該公司。
(後來,大模型興起之後,Indico也增加了企業大模型業務,率先推出了基於GPT的自定義模型。)
2016年,也就是Alec加入OpenAI的同一年,Luke去了谷歌大腦,但後來又在2022年加入了OpenAI,參與了GPT-4的部分研發工作,不過今年10月也離職了。
前兩代GPT論文作者全部離開OpenAI
到Alec離職完成之後,也就標誌著前兩代GPT論文的所有作者,都離開OpenAI了。
其中最著名的是原首席科學家Ilya Sutskever,他和Alec一樣參與了包括前兩代在內的GPT的工作。
Ilya今年五月宣佈退出OpenAI時,震動了整個AI圈,後來他成立了新公司,主攻構建“安全超級智能”。
第一代GPT的另外兩名作者分別是Karthik Narasimhan和Tim Salimans。
其中Karthik Narasimhan到OpenAI是出任訪問學者,2018年訪問期結束後到普林斯頓擔任教職,現在是普林斯頓NLP聯合主任,跟陳丹琦是同事。
另外,Karthik還是開源版Devin作者之一——清華姚班學霸姚順雨在普林斯頓讀博期間的導師(今年8月,姚順雨加入了OpenAI)。
三作Tim Salimans則是在2018年7月履新谷歌大腦,擔任職位為高級管理科學家。
同樣選擇加入谷歌的,還有GPT-2的三作Rewon Child和四作David Luan。
Rewon後來還參與了GPT-3的工作,2021年離開OpenAI加入谷歌,2022年加入了初創公司Inflection AI,今年三月又到了微軟;
David到谷歌則是2020年,後來他和Transformer論文作者Ashish Vaswani、Niki Parmar一起,創辦了一家叫Adept的公司,David出任CEO。
不過據David的領英資料顯示,他這個月已不在Adept擔任職務,而是加入了亞馬遜,與強化學習大牛、吳恩達第一屆博士生Pieter Abbeel一同工作。
除了去谷歌的,GPT-2的作者中還包括了後來OpenAI的最強競對,也就是Claude背後的廠商Anthropic的創始人Dario Amodei。
Dario在OpenAI參與了GPT-2和3的工作,2020年末和妹妹Daniela一起離開,創立了Anthropic,兩人分別出任CEO和總裁。
去向為Anthropic的,除了創始人Dario,還有GPT-2的二作Jeffrey Wu,離職的時間是今年7月,成為了倒數第二位離開OpenAI的前兩代GPT參與者。
而今天,隨著Alec的離職消息,打造最早兩代GPT的八位研究者,已經要全部各奔東西了。
參考鏈接:
[1]https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
[2]https://scholar.google.com/citations?user=dOad5HoAAAAJ&hl=en
[3]https://x.com/iScienceLuvr/status/1869852854728700166
本文來自微信公眾號“量子位”,作者:克雷西,36氪經授權發佈。