研發超過 18 個月卻還未見影子的 GPT-5（代號 Orion）項目又有了新爆料。
《華爾街日報》最新報道稱，有接近該項目的人士表示，儘管目前 Orion 的表現優於 OpenAI 當前的模型，但當前的進步並不足以證明繼續運轉新模型所需的巨大成本是合理的。
據知情人士透露，GPT-5 至少進行過兩輪訓練，每次訓練都暴露出新的問題，達不到研究人員的預期。而且，每輪訓練耗時數月，僅一輪計算成本就接近 5 億美元。
總而言之，這個項目是否能成功、何時能成功，目前尚不明確。它還面臨著一個更嚴峻的問題：全球的數據量不足以讓它達到理想的智能水平。
訓練之路困難重重
自 GPT-4 於 2023 年 3 月發佈後，OpenAI 隨即投入到 GPT-5 的開發。同年 11 月，Altman 就曾表示不會在 2024 年發佈任何名為 GPT-5 的東西。
一般來說，AI 模型的能力會隨著其吸收的數據量增加而增強。在訓練過程中，模型被灌入數萬億個 tokens，訓練可能持續好幾個月，並且依賴於成千上萬塊昂貴且稀缺的計算芯片。Altman 曾透露，單是訓練 GPT-4 的成本就超過了 1 億美元，而未來的 AI 模型訓練費用預計將突破 10 億美元。若訓練失敗，其後果將如同火箭發射失敗一樣，造成巨大的損失。
為了減少失敗的風險，OpenAI 通常會先進行小規模的試運行，以驗證模型設計和訓練的可行性。通過這種方式，研究人員可以在正式的大規模訓練之前發現並修正潛在問題。
然而，GPT-5 的開發從一開始便遇到了挑戰。2023 年中，OpenAI 啟動了一個名為“Arrakis”的實驗性訓練，旨在測試 GPT-5 的新設計。遺憾的是，訓練進展緩慢，顯示出如果進行更大規模的訓練，將會耗費極長時間，並且成本極其高昂。實驗結果還表明，GPT-5 的開發比原先預期的要更加複雜和困難。
因此，OpenAI 的研究團隊決定對 Orion 進行一系列技術調整，並進一步意識到，現有的公開互聯網數據已經無法滿足模型的需求。為了提升 GPT-5 的性能，他們迫切需要更多種類和更高質量的數據。
“從零開始創造數據”
據報道，為了應對數據不足的問題，OpenAI 決定“從零開始創造數據”。具體來說，OpenAI 正在僱人編寫新的軟件代碼或解決數學問題，讓 Orion 從這些任務中學習。這些人包括軟件工程師和數學家，並且還會向 Orion 解釋他們的工作過程。
許多研究人員認為，代碼作為軟件的語言，能夠幫助大模型解決它們沒有見過的問題，從而提升其解決複雜問題的能力。
Turing 公司首席執行官兼聯合創始人 Jonathan Siddharth 表示：“我們是在將人類智慧從人腦轉移到機器腦。”
在 AI 的訓練過程中，Turing 的一位高管解釋說，軟件工程師可能會被要求編寫一個程序來高效地解決複雜的邏輯問題；而數學家則可能需要計算由一百萬個籃球構成的金字塔的最大高度。這些任務的關鍵不只是得到最終答案，更重要的是 得出答案的思考過程，都會被納入 AI 的訓練材料中。
此外，OpenAI 還與理論物理學等領域的專家合作，讓他們解釋如何解決自己領域中的棘手問題。這些內容也有助於提升 Orion 的智能水平。
但不管怎麼說，僱人從頭構建數據這個事情，怎麼看也不會是個高效的過程。GPT-4 的訓練數據約為 13 萬億個 token。如果有 1000 個人每天寫 5000 個字，生產 10 億個 token 也得花費幾個月的時間。
為了加速訓練，OpenAI 也有用所謂的“合成數據”，即由 AI 生成的數據，來幫助訓練 Orion。然而有研究表明，AI 生成數據再用於 AI 訓練的反饋循環，有時會導致模型出錯或生成毫無意義的答案。
對此，知情人士稱，OpenAI 的科學家認為，通過使用 o1 生成的數據可以避免這些問題。
內外夾擊下前行
OpenAI 面臨的挑戰不僅僅是技術層面的，還有內部的動盪和競爭對手幾乎不間斷的挖角。其次，來自技術和資金的雙重壓力也在明顯增加。每一次的訓練耗資高達 5 億美元，那麼最後訓練成本就很可能超過 10 億美元。與此同時，競爭對手的崛起對 OpenAI 構成了更大壓力。Anthropic、谷歌等公司紛紛推出新一代模型，試圖趕超 OpenAI。
人才流失和內部分歧進一步拖慢了開發進度。去年，OpenAI 董事會突然解僱了 Altman，導致一些研究人員開始質疑公司是否能夠繼續運作。然而，Altman 很快被重新任命為 CEO，並著手對公司的治理結構進行改革。
今年以來，超過 20 位關鍵高管、研究人員和長期員工離開了 OpenAI，其中包括聯合創始人兼首席科學家 Ilya Sutskever 和技術負責人 Mira Murati。就在前不久，廣受尊敬的研究人員 Alec Radford 也宣佈離職，他曾在 OpenAI 工作約八年，並主筆了多篇重要論文。
隨著 Orion 的進展停滯，OpenAI 開始開發其他項目和應用，包括簡化版的 GPT-4 和可以生成 AI 視頻的 Sora 產品。但報道也提到，這導致了 不同團隊之間爭奪有限計算資源的局面，特別是在新產品開發團隊和 Orion 研究團隊之間，發生了激烈的競爭。
GPT-5 的困境或許揭示了一個更大的行業命題：AI 是否已經接近發展的“瓶頸期”？業內人士指出，依靠海量數據和更大模型的策略正逐漸失效。正如前 OpenAI 科學家蘇茨克維爾日前在公開場合所說，“我們只有一個互聯網”，數據的增長正在放緩，這一推動 AI 飛躍的“化石燃料”正逐漸枯竭。
對於 GPT-5 的未來，Altman 始終未給出明確的時間表，目前我們仍然無法確定 OpenAI 何時或者是否會推出一個值得稱為 GPT-5 的模型。
參考鏈接：
https://www.wsj.com/tech/ai/openai-gpt5-orion-delays-639e7693
本文來自微信公眾號“AI前線”，整理：燕珊 ，36氪經授權發佈。
