距离DeepSeek颠覆AI世界已经过去一周多了。它推出的开放权重模型——显然是在使用行业领导者所需的专用计算芯片的一小部分进行训练——在OpenAI内部引发了震波。不仅员工声称看到了DeepSeek"不当提取"OpenAI模型以创建自己模型的迹象,但这家初创公司的成功也让华尔街质疑像OpenAI这样的公司是否在计算能力上过度投资。
"DeepSeek R1是AI的Sputnik时刻,"硅谷最有影响力和最具挑衅性的发明家之一Marc Andreessen在X上写道。
作为回应,OpenAI正准备提前于原定计划推出一个新模型。这个名为o3-mini的模型将在API和聊天中首次亮相。消息人士称,它拥有o1级别的推理能力,但速度是40倍。换句话说,它又快又便宜,又聪明,旨在压倒DeepSeek。
这一时刻激励了OpenAI员工。在公司内部,人们感觉到,特别是随着DeepSeek主导了对话,OpenAI必须提高效率,否则将落后于它的最新竞争对手。
这个问题的一部分源于OpenAI最初作为一个非营利性研究机构,后来才成为一个追求利润的强大公司。员工声称,研究和产品团队之间的持续权力斗争导致了从事高级推理和从事聊天的团队之间出现裂痕。(OpenAI发言人Niko Felix表示这是"不正确的",并指出这些团队的负责人,首席产品官Kevin Weil和首席研究官Mark Chen,"每周都会见面并密切合作,以协调产品和研究优先事项。")
一些OpenAI内部人士希望公司建立一个统一的聊天产品,一个可以判断问题是否需要高级推理的模型。到目前为止,这还没有发生。相反,ChatGPT中的下拉菜单提示用户决定是否要使用GPT-40("适用于大多数问题")或o1("使用高级推理")。
一些员工声称,尽管聊天带来了OpenAI大部分收入,但o1却得到了更多关注和计算资源。"领导层不关心聊天,"一位从事聊天工作的前员工说。"每个人都想研究o1,因为它很性感,但代码库不适合实验,所以没有动力。"这位前员工要求匿名,理由是签有保密协议。
OpenAI花了多年时间试验强化学习,以微调最终成为名为o1的高级推理系统的模型。(强化学习是一种通过奖惩系统训练AI模型的过程。)DeepSeek利用OpenAI在强化学习方面的开创性工作,创造了自己的高级推理系统R1。"他们从知道将强化学习应用于语言模型是有效的中获益,"一位不被授权公开谈论该公司的前OpenAI研究员说。
"DeepSeek做的强化学习与我们在OpenAI做的类似,"另一位前OpenAI研究员说,"但他们使用了更好的数据和更清洁的技术栈。"
OpenAI员工表示,o1的研究是在一个名为"berry"的专注于速度的代码库中进行的。"有取舍——实验严谨性换取吞吐量,"一位对此有直接了解的前员工说。
这些取舍对于本质上是一个巨大实验的o1来说是合理的,尽管代码库存在局限性。但对于由数百万用户使用的聊天产品来说,这就不太合适了,它是建立在一个更可靠的技术栈上的。当o1推出并成为一个产品时,OpenAI内部的流程开始出现裂痕。"就是说,'为什么我们要在实验性代码库中做这件事,我们不应该在主要产品研究代码库中做吗?'"这位员工解释说。"内部有很大的反对声音。"
去年,公司内部启动了"Sputnik"项目——努力梳理代码,确定哪些部分应该合并,哪些部分应该保持分离。
员工认为,这个项目并没有完全实现。相反,员工被鼓励简单地优先使用"berry"技术栈,这让一些从事聊天工作的人感到愤怒。OpenAI发言人否认了这一点,并表示Sputnik项目已经成功部署。
据消息人士说,代码库的问题造成了实际后果。理想情况下,在员工启动培训作业后,参与该作业的GPU就会被释放,供其他人使用。但berry代码库的结构使得这并不总是发生。"人们就会占用GPU,"一位前员工说。"出现了僵局。"
在OpenAI之外,业界对如何解读DeepSeek的成功存在分歧。本周早些时候,英伟达的股价暴跌,因为投资者担心行业严重高估了从事AI所需的芯片数量。
但专家表示,这种解读过于短视。如果DeepSeek确实发现了一种更高效的模型开发方式,它可能会加速模型开发过程,但最终胜出的仍将是拥有最多芯片的公司。
"你确实需要更少的计算能力来获得同等的智能,但人们仍然会想要更多的单元来进一步扩大规模,"曾在OpenAI工作6年,最近担任AGI准备高级顾问的独立AI政策研究员Miles Brundage说。
也许OpenAI的闪亮新基础设施项目Stargate,将缓解内部的稀缺感。正在建造Stargate首个数据中心的公司Crusoe,已经在德克萨斯州阿比林开始建设一个998,000平方英尺的设施,据公司发言人Andrew Schmitt介绍。
尽管该项目的细节不太透明,但我被告知它可能会扩展到更多数据中心、芯片制造和超级计算机。OpenAI计划任命一位新CEO来领导这个项目——至少在理论上是这样。
现任CEO Sam Altman"擅长承诺未来会发生什么。但到了未来,这些事情就完全不可靠了,"另一位前员工说。
2023年,Steven Levy在《连线》杂志上提供了OpenAI内部的深度报道,涵盖了它在各种备受关注的动荡之前的情况。即便在那时,如今爆发的紧张局势也已经显而易见。
将OpenAI称为一个教派并不公平,但当我问公司高层是否有人可以在不相信人工通用智能(AGI)确实即将到来并将标志着人类历史上最伟大时刻之一的情况下,舒适地在那里工作时,大多数高管都认为不可能。为什么一个不信教的人会想在这里工作?他们疑惑。假设是,这支队伍——现在大约有500人,尽管在你开始阅读这段话时可能已经增加——只包括信徒。至少正如Altman所说,一旦你被录用,似乎就不可避免地会被吸引进这个魔咒。
与此同时,OpenAI已经不再是当初的公司了。它最初是一个纯粹的非营利性研究机构,但如今大部分员工实际上为一个据报道估值近300亿美元的营利性实体工作。Altman及其团队现在面临着在每个产品周期都交付革命性成果的压力,以满足投资者的商业需求,并在激烈的竞争格局中保持领先地位。同时还要坚持一种半救世主式的使命,即提升人类而不是消灭人类。
这种压力——更不用说整个世界的无情关注——可能是一种削弱力量。披头士引发了巨大的文化变革,但他们的革命只维持了六年:从奏响那个难忘的和弦开始,他们就不再是乐队了。OpenAI释放的这场风暴几乎肯定会更大。但OpenAI的领导人发誓要坚持下去。他们所要做的,他们说,就是建造足够智能和安全的计算机,以推动人类进入一个难以想象的丰裕时代。
一架客机在周三晚上撞击了华盛顿特区的一架军用直升机。
DeepSeek将一个核心数据库暴露在外,泄露了100万条记录,包括用户提示和API身份验证令牌。
埃隆·马斯克告诉朋友,他一直在DOGE办公室附近的白宫睡觉。
毫不意外的是,埃隆·马斯克的走狗已经开始接管美国人事管理局。