AI 预训练将画下句点！OpenAI 共创人：自主型 AI 、合成资料加速人工超级智慧时代到来

OpenAI 共同创办人 Ilya Sutskever 于 12/15 在加拿大温哥华所举办神经资讯处理系统 (NeurIPS) 大会上指出，目前 AI 发展已经来到关键转折，预训练技术逐渐面临瓶颈，未来将朝向人工超级智慧 (Artificial Super Intelligence，ASI) 迈进。

AI 预训练资料遇到「天花板」，转型势在必行

Sutskever 在大会上表示，AI 的预训练时代即将结束。他认为目前网路资料量已接近极限，未来必须要有新技术，才能继续推动 AI 迈向下一个阶段，最终发展出人工超级智慧 (ASI)。

Sutskever 指出，随著软硬体与演算法不断进步，AI 的运算能力已大幅提升，但用来训练 AI 的资料却没办法无限扩充。Sutskever 将资料比喻成 AI 的「化石燃料」，他表示：「资料不会无止境地增长，因为网路只有一个。资料就像是 AI 的化石燃料，目前已经快燃烧殆尽，未来必须想办法充分运用现有的资料。」

(注：预训练模型，指的是不用从零开始训练，是已经学会基础知识的模型。)

推进 AI 发展的三大关键技术

虽说 Sutskever 在大会上点出目前 AI 遇到的问题，但他也提出未来能影响 AI 进化成人工超级智慧 (ASI) 的三大关键技术：

1. 自主型 AI  (Agentic AI)：可在没有人工操作的情况下，自行作决策并执行任务，能根据目标和环境动态来调整行为。与 AI Agent 不同的是，AI Agent 主要是被动或依据固定逻辑行动，需要更多人为干预。
2. 合成资料 (Synthetic Data)：利用 AI 自行生成高品质的模拟资料，解决资料量不足的问题。举个例子：假设要训练一个 AI 模型来辨识在路上行驶的车辆，但现实世界中的交通数据不足，我们可以用合成技术「生成」许多模拟的车辆和场景来代替。
3. 即时推理运算 (Inference Time Computing)：提升 AI 模型的运算能力，让 AI 能够更快速地解决复杂问题。

Sutskever 认为这三大技术能将现在的 AI 技术推进成「人工超级智慧」(ASI)。

AI 热潮席卷区块链与 LLM 市场

AI 代理的概念不仅在科技领域受到关注，许多迷因币与大型语言模型 (LLMs) 也开始整合 AI 技术，像是 AI 代理 Truth Terminal 自己在社群媒体上推广迷因币 GOAT，市值已飙升至 6 亿美元，连知名风投 a16z 创办人 Marc Andreessen 都对 Truth Terminal 表示相当惊艳。

而近期 AI 代理结合大型语言模型的最知名案例则是由 Google DeepMind 所推出的 Gemini 2.0 模型，根据 Google 官方表示，Gemini 2.0 能直接生成图像、文字，甚至把文字转成语音，而且还能调整不同语言的音效，也可以直接使用 Google 搜寻、程式码执行，还能使用用户自订的第三方工具。

自主型 AI 优势，解决「AI 幻觉」问题

Sutskever 指出，自主型 AI 和即时推理运算，有助于解决 AI 训练中的「幻觉」 (AI Hallucinations)。所谓的 AI 幻觉指的是由于训练资料不足，AI 模型可能会产出错误或者不实资讯。随著新一代 AI 模型还是仰赖旧模型所产出的资料，这问题只会越来越严重。

而 Sutskever 表示，如果要解决「幻觉」问题，自主型 AI 能强化推理和即时运算能力来有效地判断资料争伪，提升AI 的可靠性与效能。

面临到 AI 训练资料到达极限造成「幻觉」的这一大问题，其实和辉达 (Nvidia) 执行长黄仁勋 (Jensen Huang) 的想法不尽相同，先前黄仁勋也在受访也点出这项问题，并且提出未来改善「幻觉」的三大重要阶段：

• 前期训练：

  • 为 AI 的基础阶段，透过大量吸收真实世界上的资料，去「学习」和「发现」各种知识，但这只是入门，还不够深入。

• 后期培训：

  • 这是强化 AI 的阶段，透过人类回馈，像是人类帮忙打分数。以及 AI 自己的回馈、使用合成资料来模拟更多情境。这时候会加入像强化学习、多路径学习等技术，帮助 AI 专注精进于特定技能，让它更了解怎么解决问题。

• 测试时间缩放（Test Time Scaling）：

  • 这阶段可以理解为 AI 开始「思考」。当遇到复杂问题时，AI 会一步步拆解问题，反复模拟不同解法，再去不断调整来找到最佳答案。黄仁勋认为，如果给 AI 更多「思考时间」，它得出的答案可能会更精准或者品质会更高。