OpenAI正在應對最新人工智慧模型收益遞減的壓力,同時也在應對最近投資帶來的壓力。
根據The Information的報道,OpenAI的下一代人工智慧模型-代號Orion-與其前代相比,效能提升較小。
在員工測試中,Orion在完成20%的訓練後,據報道已達到了GPT-4的效能水平。但從GPT-4到預期的GPT-5的過渡,質量提升被認為要小於從GPT-3到GPT-4的飛躍。
"該公司的一些研究人員認為,Orion在處理某些任務時可靠性不如其前代,"員工在報告中表示。"一位OpenAI員工表示,Orion在語言任務方面表現更好,但可能無法超越前幾代模型在編碼等任務上的表現。"
人工智慧訓練的早期階段通常會產生最顯著的改進,而後續階段通常只會帶來較小的效能提升。因此,剩餘80%的訓練很可能無法帶來與前幾代相當的進步。
這種情況出現在OpenAI最新的人工智慧模型上,正值該公司最近完成了66億美元的融資。這筆資金的支援,也帶來了投資者的更高期望,以及在人工智慧開發中複雜化的技術挑戰。
如果這些早期版本無法達到預期,OpenAI未來的融資前景可能無法吸引同等程度的關注。
報告中突出的侷限性,凸顯了整個人工智慧行業面臨的一個重大挑戰:高質量訓練資料的可用性日益減少,以及在日益激烈的競爭領域保持相關性的必要性。
根據6月發表的一篇論文(PDF),人工智慧公司將在2026年至2032年之間耗盡公開可用的人類生成文字資料。The Information指出,開發者已經"基本擠幹了"近年來推動人工智慧快速進步的資料。
為應對這些挑戰,OpenAI正在從根本上重新思考其人工智慧開發策略。
"為應對訓練規模定律放緩導致的GPT改進放緩的最新挑戰,行業似乎正在將努力轉向在初始訓練之後改進模型,這可能會產生一種不同型別的規模定律,"The Information解釋道。
在應對這些挑戰的同時,OpenAI必須在創新與實際應用以及投資者期望之間保持平衡。然而,公司領導層的持續流失並不會有助於解決這些問題。
(照片由Jukan Tateisi拍攝)
另見:ASI聯盟推出AIRIS,可在Minecraft中"學習"
想從行業領導者那裡瞭解更多關於人工智慧和大資料的知識嗎?檢視在阿姆斯特丹、加利福尼亞和倫敦舉辦的人工智慧&大資料博覽會。這個全面的活動與其他領先活動如智慧自動化大會、BlockX、數字化轉型周和網路安全&雲計算博覽會同期舉辦。
在TechForge的這裡探索其他即將到來的企業技術活動和網路研討會。
本文最初發表於《人工智慧新聞》。
