剛剛,「GPT之父」Alec Radford被曝離職OpenAI!
誰也沒想到,OpenAI聖誕12日的特別活動接近尾聲時,居然迎來這樣一枚炸彈。
OpenAI這次失去的,是一位元老級的骨幹成員,是真正開創ChatGPT這一迄今為止最大AI突破的人。
2016年加入OpenAI後,他不僅是GPT-1、GPT-2、CLIP、Whisper的一作,還為GPT-3、GPT-4、DALL-E 2/3等技術突破提供了支持,是OpenAI多項美國專利的發明人。
他在機器學習和深度學習領域非常高產,論文引用量高達19萬,多篇入選NeurIPS、ICLR、ICML等著名會議,其合作者包括llya、lan Goodfellow等知名學者。
根據據The Information報道,就在週四,Radford宣佈離職,即將開展獨立研究。據悉,他之後計劃同時和OpenAI以及其他AI開發者合作。
OpenAI研究負責人Mark Chen表示,「我們對Alec及其貢獻深表敬意和感謝,並期待在他探索獨立研究的同時繼續與他合作項目。」
德撲之父、OpenAI高級研究科學家曾這樣評價道,「OpenAI真正開始嶄露頭角,是從聘請了一位當時名不見經傳的研究員Alec Radford開始的」。
也有人給出了意味深長的發問:如果OpenAI真的處於AGI的邊緣,為什麼這些人還要離開?
真正的「ChatGPT之父」
2016年,對於OpenAI來說,註定是一個轉折點。
23歲的傳奇AI研究員Alec Radford選擇加盟,這個決定不僅僅改變了他的職業生涯,更為AI的發展掀開了嶄新的一頁。
有人說,Radford扮演的角色,如同谷歌創始人拉里佩奇發明了PageRank。
他是一位內斂、低調的研究者,幾乎很少露臉,也從未接受過任何採訪。
此前,Radford曾透露自己最大興趣是,讓神經網絡能夠與人類進行真正的對話。
入職OpenAI後,他開啟的第一個實驗是,用20億條Reddit評論訓練預言模型,沒想到卻以失敗告終。
當時,總裁Greg Brockman鼓勵到,沒關係,再試試吧。
由於受限於算力,Radford只能在單一領域中進行實驗。接下來,他選擇了亞馬遜電商平臺評論,嘗試讓語言模型簡單預測,並生成和用戶評論的下一個字符。
看似平凡的選擇,卻帶來了意外的收穫:模型不僅能預測評論下一個字符,還能自主判斷評論的情感傾向(積極/負面),甚至根據要求生成不同風格的評論。
文章鏈接:https://arxiv.org/pdf/1704.01444
正是這個突破,引起了OpenAI前首席科學家Ilya的注意。他接著鼓勵Radford進一步擴展研究範圍——在亞馬遜評論數據之外再次嘗試。
2017年,Transformer奠基之作出世,讓Radford的研究迎來質的飛躍。
他聯手Ilya一起,創造了共有1.17億參數的模型,並將其命名為「Generative Pre-trained Transformer」(GPT)。
這個模型在7000本未出版的學習書籍、Quora問答,以及各類考試文章中,展現出了前所未有的預言理解能力。
更令人驚豔的是,GPT還具備了零樣本學習的能力,在未經訓練的領域,同樣擁有專業級水平。
這種超出預期的能力,讓團隊異常興奮,同時引發了他們對AI方向的深度思考。
有趣的是,當初代GPT問世時,Radford和團隊選擇了一種低調的方式,將論文直接發佈在arXiv上,並非提交各大頂會。
a16z著名風投家Marc Andreessen曾這樣描述道,「在2018年-2019年之間,他隱藏在人工智能的角落,默默地在自己的領域潛心研究」。
正是這份堅持,最終改變了人工智能的發展軌跡。
這正是從這一刻起,傳奇GPT系列開啟了。
OpenAI,正在失去核心員工
Alec Radford的離開,如同一枚重磅炸彈,炸得網友們驚愕不已。
有人說,這位元老對於OpenAI和整個AI研究的影響被低估了。甚至可以說,他的影響力完全不亞於Ilya。
就在Ilya幾天前的NeruIPS 2024演講中,他還特別提到,感謝自己的前同事Alec Radford
因為他不僅是GPT的主要作者,還可能是公司每個重要研究方向的帶頭人。
UC伯克利AI博士Dan Hendrycks表示,自己排名的AI學術影響力榜單中,何愷明和Alec Radford是妥妥的TOP 2。
CS教授、DeepMind高級顧問Jeff Clune表示,我們應該重新為Alec Radford正名。
他是AI研究領域最重要、但卻沒有知名度的人,被低估的人,在重大進步後隱身的人。
Clune教授認為,Alec Radford應該作為現代生成式AI之父被載入史冊。
許多科學家和研究者表示同意:沒錯,Alec Radford是真正的MVP。
好在他的離開雖然對OpenAI是個損失,但他未來肯定不會缺GPU,如果做一些開放研究的話,整個世界都會受益。
也有人猜測道,每當OpenAI發佈重大模型前後,總會有人離開。比如高級語音模式Her發佈後,CTO Mira Murati就離職了。
按照這個規律,或許GPT-4.5明天就要發佈。(對於GPT-4.5的發佈時間,此前也有很多類似的預測)
對於Alec Radford的離開,很多人表示理解。
一旦初創公司經歷最初的飛速發展期後穩定下來,選擇離開公司是很正常的。
他們有人脈、有履歷,可以在任何地方找到想要的工作。甚至還能創辦自己的公司,拿到數十億美元的融資。
諷刺的是,就在一年前,有網友表示OpenAI的分裂不會對AI未來的軌跡有多大影響,因為成果背後真正的天才是像Ilya和Alec Radford這樣的科學家。
「只要他們還在,OpenAI就不會有任何影響。」
但如今,OpenAI的根基正在動搖。
總結一下,OpenAI在2024年已經流失多位元老。
包括首席技術官Mira Murati、研究負責人Bob McGrew,聯創兼研究員John Schulman,研究副總裁Barret Zoph,安全系統團隊負責人Lilian Weng,聯創兼前首席科學家Ilya Sutskever,前安全負責人Jan Leike,現在又多了Aled Rad。
可以預見,接下來這份離職名單還會不斷壯大。
參考資料:
https://www.wired.com/story/what-openai-really-wants/
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
本文來自微信公眾號“新智元”,作者:新智元,編輯:編輯部 JHYZ,36氪經授權發佈。