划重点
OpenAI已对GPT-5进行了两轮大规模训练，目前开发进度已落后于原计划半年。
GPT-5每轮训练需要耗费数周乃至数月时间，六个月的计算成本可能达5亿美元。
OpenAI正借助o1模型来生成合成数据，以进一步丰富用于训练GPT-5的数据集。
OpenAI的研究人员发现，通过“推理”，让大语言模型学会“思考”会让其变得更聪明。
12月22日消息，由于计算成本居高不下，加之高质量训练数据的稀缺，OpenAI在推进其下一代旗舰模型GPT-5的开发进程上正落后于原定计划。截至目前，OpenAI已至少对GPT-5实施了两轮大规模训练，旨在借助海量数据资源来优化模型效能。然而，首次训练的实际运行速度未能达到预期标准，致使更大规模的训练尝试不仅耗时冗长，而且成本高昂。尽管GPT-5相较于其前代在性能层面有所提升，但这种进步幅度尚不足以充分验证维持该模型运作所需巨额成本是否值得。
在数据采集方面，OpenAI采取了多元化策略，不仅依赖公开的数据资源和授权协议，还积极招募人员，通过编写代码或解决数学问题等手段创新性地生成新的数据资源。此外，该公司还借助另一个名为o1的模型来生成合成数据，以进一步丰富其数据集。鉴于GPT-5可能难以复制其前身所实现的显著性能突破，OpenAI目前正积极寻求并探索新的战略方向。
01 开发计划已落后半年 训练6个月花费5亿美元
OpenAI新人工智能项目的正式官方名称为GPT-5，内部代号为“猎户座”（Orion），该公司已经对其进行了长达18个月的开发，旨在实现ChatGPT技术的重大飞跃。据知情人士透露，OpenAI的合作伙伴及主要投资者微软，原本期望能在2024年中期就能看到新模型面世。
OpenAI已经针对猎户座进行了至少两次大规模的训练，每次都需要耗费数月时间对海量数据进行处理，以期提升猎户座的智能水平。然而，据项目内部人士透露，每次训练都遭遇了新的难题，导致软件的智能水平始终未能达到研究人员的预期。
研究人员表示，即便在最优情况下，猎户座的性能相较于OpenAI当前的模型有所提升，但其进步幅度尚不足以充分证明其高昂运行成本是否值得。根据公共和私人对培训各个方面的估计，仅六个月的训练周期，计算成本就可能高达约5亿美元。
回溯两年前，OpenAI及其首席执行官山姆·奥特曼（Sam Altman）推出了ChatGPT，在硅谷引发了巨大轰动，预示着人工智能领域将持续展现出惊人的进步，并深刻影响我们生活的方方面面。分析人士预测，在未来几年内，科技巨头们可能会在人工智能项目上投入高达1万亿美元的资金。
图注：OpenAI联合创始人兼首席执行官奥特曼预测，GPT-5将代表着“重大飞跃”
这些厚望主要聚焦于OpenAI身上，这家初创公司正站在人工智能浪潮的最前沿。今年10月，投资者对OpenAI的估值高达1570亿美元，这一估值在很大程度上基于奥特曼的预测之上，即GPT-5将在各个学科和任务上实现“重大飞跃”。
GPT-5旨在推动科学新发现，并胜任日常的人类任务，如预约或航班预定等。研究人员期望它能比当前的人工智能系统犯更少的错误，或者至少能够承认自己的答案存疑——这对于目前的模型而言是一大挑战，因为它们有时会产生所谓的“幻觉”。
人工智能聊天机器人运行在被称为大语言模型（LLM）的底层技术上。消费者、企业和政府机构已经在众多事务上依赖它们，从编写计算机代码到完善营销文案，再到策划聚会等。OpenAI当前的项目是GPT-4，这是该公司自2015年成立以来开发的第四个大语言模型。
据OpenAI的一位前高管透露，虽然GPT-4的表现相当于一个聪明的高中生，但最终的GPT-5在某些任务上的能力实际上可以达到博士水平。今年早些时候，奥特曼在斯坦福大学的一次演讲中告诉学生，OpenAI可以“高度科学地确定”，GPT-5将比当前的模型聪明得多。
然而，现在还没有固定的标准来判断一个模型何时变得足够智能，可以被命名为GPT-5。OpenAI可以在数学、编码等领域对大语言模型进行测试。但一个模型是否足够聪明，可以被称为GPT-5，这主要取决于该公司高管的直觉，或者如许多技术专家所言，是一种“感觉”。
截至目前，情况并不乐观。OpenAI和微软对此拒绝置评。今年11月，奥特曼表示，这家初创公司在2024年不会推出任何名为GPT-5的产品。
02 训练新模型费用或翻10倍 耗时长达数月
自GPT-4于2023年3月面世以来，OpenAI便投身于GPT-5的研发之中。长期投身于人工智能研究的专家们指出，开发大语言模型这类系统既是科学探索，也是艺术创造。
在训练阶段，模型会经历持续的测试。在这一漫长的过程中，模型会接收数万亿个被称为“Token”的单词片段输入。在数据中心进行的一次大规模训练，可能需要耗费数月时间，而这里配备了成千上万颗价格昂贵且供不应求的计算机芯片，这些芯片往往源自英伟达公司。
在一次训练中，研究人员会在电脑前连续工作数周乃至数月，试图将世界上的大部分知识输入到一个人工智能系统中，而该系统则依赖于位于偏远数据中心的一些最为昂贵的硬件设备。
图注：OpenAI GPT模型迭代参数变化，其中GPT-1参数为1.17亿，GPT-2为15亿， GPT-3为1750亿，GPT-4则增至1.76万亿
奥特曼曾公开表示，GPT-4的训练成本超过了1亿美元，而预计未来的人工智能模型训练费用将攀升至超过10亿美元。一次失败的训练，就如同一枚太空火箭在升空后不久便在空中爆炸，损失巨大且令人痛心。
为了减少这种失败的风险，研究人员采取了更为谨慎的策略，即在更大规模的实验之前，先在较小的范围内进行预实验或试运行。
然而，从项目启动之初，GPT-5就面临着诸多挑战。
在2023年中期，OpenAI启动了一次训练，这同时也是对猎户座新设计的首次实战测试。然而，训练过程异常缓慢，预示着更大规模的训练可能会耗时极长，进而导致成本飙升到令人咋舌的地步。这个被称为Arrakis的项目结果并不理想，它表明创建GPT-5的过程并不会如预期般一帆风顺。
面对这一困境，OpenAI的研究人员决定对猎户座进行一些技术上的调整以增强其性能。同时，他们也意识到，为了提升模型的准确性和泛化能力，他们需要收集更多样化、更高质量的数据。在他们看来，仅仅依赖公共互联网上的数据是远远不够的。
图注：英伟达首席执行官黄仁勋，该公司生产大部分人工智能训练芯片
通常而言，人工智能模型所处理的数据量越大，其能力便会越强。对于大语言模型而言，这些数据主要源自书籍、学术出版物以及其他公开教育资源。这些素材有助于模型更精准地表达自我，并胜任各类任务。
在构建先前的模型时，OpenAI主要采用了从互联网上抓取的数据，包括新闻文章、社交媒体帖子和科学论文等。然而，为了进一步提升猎户座的智能水平，OpenAI需要使其规模更加庞大，这意味着需要更多的数据作为支撑，但目前的数据量还远远不足。
DatologyAI的首席执行官阿里·莫科斯（Ari Morcos）指出：“这个过程变得非常昂贵，而且很难找到同等质量的数据。”DatologyAI是一家致力于开发数据选择优化工具的初创企业。莫科斯正在尝试利用更少但质量更高的数据来构建模型，他认为这种方法将使当前的人工智能系统相较于OpenAI等所有顶级人工智能公司所采用的策略更具优势。
OpenAI的解决方案则是从零开始创造数据。他们正在聘请人员编写新的软件代码或解决数学问题，以供猎户座学习。这些工作人员，其中不乏软件工程师和数学家，也会与猎户座分享他们的工作思路和解题方法。众多研究人员认为，作为软件语言的代码有助于大语言模型解决那些它们尚未遇到过的问题。
图注：在OpenAI的办公区，员工们常常连续数周或数月沉浸在人工智能的培训工作中
鼓励人们阐述他们的思考过程，可以显著提升新创建数据的价值。大语言模型需要不断吸收丰富的语言素材，这也是它们未来解决类似问题时的重要参考和依据。
Turing是一家专注于人工智能基础设施的公司，与OpenAI、Meta等科技巨头保持着紧密的合作关系。该公司的首席执行官兼联合创始人乔纳森·西达尔斯（Jonathan Siddharth）表示：“我们正致力于将人类智能从大脑迁移到机器大脑中。”
据Turing的高管介绍，在人工智能的培训过程中，软件工程师可能会被要求编写一个程序，以高效解决某个复杂的逻辑难题；而数学家则可能需要计算出由一百万个篮球堆叠而成的金字塔所能达到的最大高度。这些问题的答案——以及更为关键的，获取这些答案的方法——随后都会被整合进人工智能的培训材料中。
此外，OpenAI还与理论物理学等领域的专家展开合作，向他们请教如何解决各自领域中最为棘手的问题。这些合作同样有助于猎户座变得更聪明。
然而，这个进程异常缓慢。GPT-4在大约13万亿个Token的基础上进行了训练。如果1000个人每天各自撰写5000个单词，那么需要耗费数月的时间才能累积到10亿个Token。
为了加速训练进程，OpenAI开始着手开发所谓的“合成数据”，即利用人工智能手段生成的数据，以辅助猎户座的训练。但研究表明，这种由人工智能为人工智能训练创造数据的反馈循环，往往会引发故障或产生荒谬的答案。
据知情人士透露，OpenAI的科学家们认为，他们可以通过利用该公司另一款名为o1的人工智能模型所生成的数据来规避这些问题。然而，OpenAI本就艰巨的任务，因内部动荡以及竞争对手不断挖角其顶尖研究人员而变得更加复杂。这些竞争对手有时甚至向OpenAI的研究人员提供高达数百万美元的年薪。
去年，奥特曼曾一度被OpenAI董事会解雇，这一事件让许多研究人员对OpenAI的未来产生了怀疑。但幸运的是，奥特曼很快便恢复了首席执行官的职位，并开始着手改革OpenAI的治理结构。
今年，OpenAI已经失去了20多名关键高管、研究人员和长期员工，其中包括联合创始人兼首席科学家伊利亚·苏茨克维（Ilya Sutskever）和首席技术官米拉·穆拉蒂（Mira Murati）。周四，备受尊敬的研究员、OpenAI多篇科学论文的主要作者亚历克·雷德福（Alec Radford）也宣布离职，他在OpenAI工作了约8年时间。
03 GPT-5面临内外部竞争 第二次大规模训练再遇挫
到2024年初，OpenAI的高管们开始感受到前所未有的压力。GPT-4已经发布一年，而竞争对手正迅速逼近。Anthropic推出的新模型在业内获得了高度评价，甚至被认为超越了GPT-4。几个月之后，谷歌推出了今年备受瞩目的新人工智能应用——NotebookLM。
在猎户座的开发遭遇瓶颈之际，OpenAI不得不将精力分散到其他项目和应用程序上，如推出GPT-4的精简版以及人工智能生成视频工具Sora。据知情人士透露，这导致开发新产品的团队与猎户座的研究人员之间为了争夺有限的计算资源而展开竞争。
图注：谷歌是OpenAI在人工智能领域争夺主导地位的强劲对手之一
同时，不同人工智能实验室之间的竞争也变得异常激烈，以至于大型科技公司发表的关于最新发现或突破的论文数量远少于科学领域的平均水平。两年前，随着大量资金涌入市场，科技公司开始将这些研究成果视为需要严格保护的商业秘密。一些研究人员对此高度重视，他们绝不会在飞机、咖啡馆或任何可能有人窥视他们工作的地方办公。
这种遮遮掩掩的态度令许多长期从事人工智能研究的人员感到失望，其中包括Meta的首席人工智能科学家杨立昆（Yann LeCun）。杨立昆认为，OpenAI和Anthropic的工作已经不再是纯粹的研究，而是“先进的产品开发”。他在最近的一次人工智能会议上表示：“如果你在商业化的时间压力下进行这项工作，那就不能称之为研究。如果它是秘密进行的，那同样不能称之为研究。”
2024年初，OpenAI准备再次尝试训练猎户座，并为其配备了更加优质的数据。研究人员在今年的前几个月进行了多次小规模的训练，以建立信心。到了5月，OpenAI的研究人员决定，他们已准备好为猎户座进行另一次大规模的训练，预计将持续到11月。
然而训练开始后不久，OpenAI的研究人员便遇到了一个棘手的问题：他们发现数据并没有预期中那么多样化，这可能会极大地限制“猎户座”的学习能力。在小规模训练阶段，这个问题并不明显，但随着大规模训练的推进，它逐渐浮出水面。由于已经投入了大量的时间和金钱，OpenAI无法轻易重新开始。
为了应对这一挑战，研究人员在训练过程中紧急寻找更加广泛的数据源，以期为模型提供更丰富的信息。然而，目前尚无法确定这一策略是否能取得显著成效。在OpenAI内部，一些人认为猎户座所遇到的问题，表明曾经推动OpenAI早期成功的“多多益善”（more-is-more）战略正在逐渐失效。
事实上，OpenAI并非唯一一家担忧技术进步遭遇瓶颈的公司。在整个人工智能行业，关于人工智能的发展是否已经开始趋于平稳的争论正愈演愈烈。
图注：伊利亚·苏茨克维于今年辞去了OpenAI首席科学家的职务
苏茨克维最近与人联合创立了一家名为Safe Superintelligence（简称SSI）的新人工智能公司。在最近的一次人工智能会议上，他宣布数据最大化的时代已经结束。“数据不会无限制地增长，因为我们只有一个互联网，”他向在场的研究人员、政策专家和科学家坦言，“你甚至可以说，数据是人工智能的化石燃料。而现在，这种燃料已经开始枯竭。”
04 推理模型带来新希望 苹果研究员提出质疑
在猎户座项目的推进过程中，OpenAI的研究人员探索出了一种让大语言模型变得更加聪明的新途径：推理。他们发现，通过给予大语言模型更长的时间去“思考”，这些模型能够解决一些它们并未接受过专门培训的问题。
在OpenAI的内部，o1模型发挥着关键作用。它为每个问题提供多个可能的答案，并对这些答案进行深入分析，从而找出最优解。o1不仅能够执行如撰写商业计划或设计填字游戏等复杂任务，同时还能解释其推理过程，这有助于模型从每个答案中汲取知识。
然而，苹果公司的研究人员最近发表的一篇论文对推理模型提出了质疑。他们认为，包括o1在内的推理模型，在很大程度上只是在模仿它们在训练过程中接触到的数据，而非真正具备解决新问题的能力。苹果指出，当问题被稍作修改，例如加入一些不相关的细节时，这些模型的表现就会“灾难性地下降”。例如，在调整涉及猕猴桃的数学题时，模型可能无法注意到某些水果比其他水果小这一细节。
尽管如此，OpenAI在今年9月还是发布了o1推理模型的预览版，并在本月早些时候推出了o1的完整版本。 但值得一提的是，所有这些额外的计算和处理能力都带来了更高的成本。OpenAI现在需要为单个查询生成多个答案，而不再仅仅是一个，这无疑增加了其运营的经济负担。
在最近的一次TED演讲中，OpenAI的资深研究科学家诺姆·布朗（Noam Brown）阐述了推理的显著优势。他提到：“我们发现，让机器人在玩扑克牌时思考20秒，所获得的性能提升，与将模型规模扩大10万倍、训练时间延长10万倍所带来的效果相当。”
一个更加先进且高效的推理模型，完全有可能成为猎户座项目的核心基础。OpenAI的研究人员正在探索这一方向，并期望能将这种推理方法与传统的获取更多数据的方法相结合。这些新增的数据可能部分来源于OpenAI的其他人工智能模型。然后，OpenAI还计划利用人类生成的数据来优化和完善这些结果。
在美国当地时间12月20日的发布会上，奥特曼宣布了一项全新的推理模型计划。据他介绍，这个新模型将比OpenAI之前发布的任何模型都要更加智能。然而，他并未透露关于何时会推出这个新模型，以及它是否会被命名为GPT-5。（腾讯科技特约编译金鹿）
本文来自微信公众号“腾讯科技”，作者：腾讯科技，36氪经授权发布。
