AI 預訓練將畫下句點！OpenAI 共創人：自主型 AI 、合成資料加速人工超級智慧時代到來

OpenAI 共同創辦人 Ilya Sutskever 於 12/15 在加拿大溫哥華所舉辦神經資訊處理系統 (NeurIPS) 大會上指出，目前 AI 發展已經來到關鍵轉折，預訓練技術逐漸面臨瓶頸，未來將朝向人工超級智慧 (Artificial Super Intelligence，ASI) 邁進。

AI 預訓練資料遇到「天花板」，轉型勢在必行

Sutskever 在大會上表示，AI 的預訓練時代即將結束。他認為目前網路資料量已接近極限，未來必須要有新技術，才能繼續推動 AI 邁向下一個階段，最終發展出人工超級智慧 (ASI)。

Sutskever 指出，隨著軟硬體與演算法不斷進步，AI 的運算能力已大幅提升，但用來訓練 AI 的資料卻沒辦法無限擴充。Sutskever 將資料比喻成 AI 的「化石燃料」，他表示：「資料不會無止境地增長，因為網路只有一個。資料就像是 AI 的化石燃料，目前已經快燃燒殆盡，未來必須想辦法充分運用現有的資料。」

(註：預訓練模型，指的是不用從零開始訓練，是已經學會基礎知識的模型。)

推進 AI 發展的三大關鍵技術

雖說 Sutskever 在大會上點出目前 AI 遇到的問題，但他也提出未來能影響 AI 進化成人工超級智慧 (ASI) 的三大關鍵技術：

1. 自主型 AI  (Agentic AI)：可在沒有人工操作的情況下，自行作決策並執行任務，能根據目標和環境動態來調整行為。與 AI Agent 不同的是，AI Agent 主要是被動或依據固定邏輯行動，需要更多人為干預。
2. 合成資料 (Synthetic Data)：利用 AI 自行生成高品質的模擬資料，解決資料量不足的問題。舉個例子：假設要訓練一個 AI 模型來辨識在路上行駛的車輛，但現實世界中的交通數據不足，我們可以用合成技術「生成」許多模擬的車輛和場景來代替。
3. 即時推理運算 (Inference Time Computing)：提升 AI 模型的運算能力，讓 AI 能夠更快速地解決複雜問題。

Sutskever 認為這三大技術能將現在的 AI 技術推進成「人工超級智慧」(ASI)。

AI 熱潮席捲區塊鏈與 LLM 市場

AI 代理的概念不僅在科技領域受到關注，許多迷因幣與大型語言模型 (LLMs) 也開始整合 AI 技術，像是 AI 代理 Truth Terminal 自己在社群媒體上推廣迷因幣 GOAT，市值已飆升至 6 億美元，連知名風投 a16z 創辦人 Marc Andreessen 都對 Truth Terminal 表示相當驚豔。

而近期 AI 代理結合大型語言模型的最知名案例則是由 Google DeepMind 所推出的 Gemini 2.0 模型，根據 Google 官方表示，Gemini 2.0 能直接生成圖像、文字，甚至把文字轉成語音，而且還能調整不同語言的音效，也可以直接使用 Google 搜尋、程式碼執行，還能使用用戶自訂的第三方工具。

自主型 AI 優勢，解決「AI 幻覺」問題

Sutskever 指出，自主型 AI 和即時推理運算，有助於解決 AI 訓練中的「幻覺」 (AI Hallucinations)。所謂的 AI 幻覺指的是由於訓練資料不足，AI 模型可能會產出錯誤或者不實資訊。隨著新一代 AI 模型還是仰賴舊模型所產出的資料，這問題只會越來越嚴重。

而 Sutskever 表示，如果要解決「幻覺」問題，自主型 AI 能強化推理和即時運算能力來有效地判斷資料爭偽，提升AI 的可靠性與效能。

面臨到 AI 訓練資料到達極限造成「幻覺」的這一大問題，其實和輝達 (Nvidia) 執行長黃仁勳 (Jensen Huang) 的想法不盡相同，先前黃仁勳也在受訪也點出這項問題，並且提出未來改善「幻覺」的三大重要階段：

• 前期訓練：

  • 為 AI 的基礎階段，透過大量吸收真實世界上的資料，去「學習」和「發現」各種知識，但這只是入門，還不夠深入。

• 後期培訓：

  • 這是強化 AI 的階段，透過人類回饋，像是人類幫忙打分數。以及 AI 自己的回饋、使用合成資料來模擬更多情境。這時候會加入像強化學習、多路徑學習等技術，幫助 AI 專注精進於特定技能，讓它更了解怎麼解決問題。

• 測試時間縮放（Test Time Scaling）：

  • 這階段可以理解為 AI 開始「思考」。當遇到複雜問題時，AI 會一步步拆解問題，反覆模擬不同解法，再去不斷調整來找到最佳答案。黃仁勳認為，如果給 AI 更多「思考時間」，它得出的答案可能會更精準或者品質會更高。