刚刚,「GPT之父」Alec Radford被曝离职OpenAI!
谁也没想到,OpenAI圣诞12日的特别活动接近尾声时,居然迎来这样一枚炸弹。
OpenAI这次失去的,是一位元老级的骨干成员,是真正开创ChatGPT这一迄今为止最大AI突破的人。
2016年加入OpenAI后,他不仅是GPT-1、GPT-2、CLIP、Whisper的一作,还为GPT-3、GPT-4、DALL-E 2/3等技术突破提供了支持,是OpenAI多项美国专利的发明人。
他在机器学习和深度学习领域非常高产,论文引用量高达19万,多篇入选NeurIPS、ICLR、ICML等著名会议,其合作者包括llya、lan Goodfellow等知名学者。
根据据The Information报道,就在周四,Radford宣布离职,即将开展独立研究。据悉,他之后计划同时和OpenAI以及其他AI开发者合作。
OpenAI研究负责人Mark Chen表示,「我们对Alec及其贡献深表敬意和感谢,并期待在他探索独立研究的同时继续与他合作项目。」
德扑之父、OpenAI高级研究科学家曾这样评价道,「OpenAI真正开始崭露头角,是从聘请了一位当时名不见经传的研究员Alec Radford开始的」。
也有人给出了意味深长的发问:如果OpenAI真的处于AGI的边缘,为什么这些人还要离开?
真正的「ChatGPT之父」
2016年,对于OpenAI来说,注定是一个转折点。
23岁的传奇AI研究员Alec Radford选择加盟,这个决定不仅仅改变了他的职业生涯,更为AI的发展掀开了崭新的一页。
有人说,Radford扮演的角色,如同谷歌创始人拉里佩奇发明了PageRank。
他是一位内敛、低调的研究者,几乎很少露脸,也从未接受过任何采访。
此前,Radford曾透露自己最大兴趣是,让神经网络能够与人类进行真正的对话。
入职OpenAI后,他开启的第一个实验是,用20亿条Reddit评论训练预言模型,没想到却以失败告终。
当时,总裁Greg Brockman鼓励到,没关系,再试试吧。
由于受限于算力,Radford只能在单一领域中进行实验。接下来,他选择了亚马逊电商平台评论,尝试让语言模型简单预测,并生成和用户评论的下一个字符。
看似平凡的选择,却带来了意外的收获:模型不仅能预测评论下一个字符,还能自主判断评论的情感倾向(积极/负面),甚至根据要求生成不同风格的评论。
文章链接:https://arxiv.org/pdf/1704.01444
正是这个突破,引起了OpenAI前首席科学家Ilya的注意。他接着鼓励Radford进一步扩展研究范围——在亚马逊评论数据之外再次尝试。
2017年,Transformer奠基之作出世,让Radford的研究迎来质的飞跃。
他联手Ilya一起,创造了共有1.17亿参数的模型,并将其命名为「Generative Pre-trained Transformer」(GPT)。
这个模型在7000本未出版的学习书籍、Quora问答,以及各类考试文章中,展现出了前所未有的预言理解能力。
更令人惊艳的是,GPT还具备了零样本学习的能力,在未经训练的领域,同样拥有专业级水平。
这种超出预期的能力,让团队异常兴奋,同时引发了他们对AI方向的深度思考。
有趣的是,当初代GPT问世时,Radford和团队选择了一种低调的方式,将论文直接发布在arXiv上,并非提交各大顶会。
a16z著名风投家Marc Andreessen曾这样描述道,「在2018年-2019年之间,他隐藏在人工智能的角落,默默地在自己的领域潜心研究」。
正是这份坚持,最终改变了人工智能的发展轨迹。
这正是从这一刻起,传奇GPT系列开启了。
OpenAI,正在失去核心员工
Alec Radford的离开,如同一枚重磅炸弹,炸得网友们惊愕不已。
有人说,这位元老对于OpenAI和整个AI研究的影响被低估了。甚至可以说,他的影响力完全不亚于Ilya。
就在Ilya几天前的NeruIPS 2024演讲中,他还特别提到,感谢自己的前同事Alec Radford
因为他不仅是GPT的主要作者,还可能是公司每个重要研究方向的带头人。
UC伯克利AI博士Dan Hendrycks表示,自己排名的AI学术影响力榜单中,何恺明和Alec Radford是妥妥的TOP 2。
CS教授、DeepMind高级顾问Jeff Clune表示,我们应该重新为Alec Radford正名。
他是AI研究领域最重要、但却没有知名度的人,被低估的人,在重大进步后隐身的人。
Clune教授认为,Alec Radford应该作为现代生成式AI之父被载入史册。
许多科学家和研究者表示同意:没错,Alec Radford是真正的MVP。
好在他的离开虽然对OpenAI是个损失,但他未来肯定不会缺GPU,如果做一些开放研究的话,整个世界都会受益。
也有人猜测道,每当OpenAI发布重大模型前后,总会有人离开。比如高级语音模式Her发布后,CTO Mira Murati就离职了。
按照这个规律,或许GPT-4.5明天就要发布。(对于GPT-4.5的发布时间,此前也有很多类似的预测)
对于Alec Radford的离开,很多人表示理解。
一旦初创公司经历最初的飞速发展期后稳定下来,选择离开公司是很正常的。
他们有人脉、有履历,可以在任何地方找到想要的工作。甚至还能创办自己的公司,拿到数十亿美元的融资。
讽刺的是,就在一年前,有网友表示OpenAI的分裂不会对AI未来的轨迹有多大影响,因为成果背后真正的天才是像Ilya和Alec Radford这样的科学家。
「只要他们还在,OpenAI就不会有任何影响。」
但如今,OpenAI的根基正在动摇。
总结一下,OpenAI在2024年已经流失多位元老。
包括首席技术官Mira Murati、研究负责人Bob McGrew,联创兼研究员John Schulman,研究副总裁Barret Zoph,安全系统团队负责人Lilian Weng,联创兼前首席科学家Ilya Sutskever,前安全负责人Jan Leike,现在又多了Aled Rad。
可以预见,接下来这份离职名单还会不断壮大。
参考资料:
https://www.wired.com/story/what-openai-really-wants/
https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
本文来自微信公众号“新智元”,作者:新智元,编辑:编辑部 JHYZ,36氪经授权发布。