OpenAI和其他領先的人工智慧公司正在開發新的訓練技術來克服當前方法的侷限性。這些新的技術專注於模仿人類行為,教會演算法"思考",以解決開發更大、更強大的語言模型時出現的意外延遲和複雜問題。
據報道,由一群人工智慧研究人員、科學家和投資者領導的這些新訓練技術為基礎的OpenAI最近推出的"o1"模型(之前稱為Q*和Strawberry),有望改變人工智慧發展的格局。這些進展可能會影響人工智慧公司持續需要的資源型別或數量,包括用於開發人工智慧模型的專用硬體和能源。
o1模型旨在以模仿人類推理和思維的方式處理問題,將眾多工分解為步驟。該模型還利用人工智慧行業專家提供的專門資料和反饋來提高其效能。
自2022年OpenAI推出ChatGPT以來,人工智慧創新呈現井噴態勢,許多科技公司聲稱現有的人工智慧模型需要擴充套件,無論是透過更多資料還是改善計算資源。只有這樣,人工智慧模型才能持續改進。
現在,人工智慧專家報告了在擴大人工智慧模型規模方面的侷限性。2010年代是擴充套件的革命性時期,但人工智慧實驗室Safe Superintelligence (SSI)和OpenAI的聯合創始人Ilya Sutskever表示,特別是在理解語言結構和模式方面,人工智慧模型的訓練已經達到瓶頸。
"2010年代是擴充套件的時代,現在我們又回到了充滿奇蹟和發現的時代。擴充套件正確的事物現在更加重要,"他們說。
近期,人工智慧實驗室研究人員在開發和釋出比OpenAI的GPT-4模型更強大的大型語言模型(LLM)時遇到了延遲和挑戰。
首先是訓練大型模型的成本,通常高達數千萬美元。此外,由於出現各種複雜問題,如系統複雜性導致硬體故障,對這些模型的最終分析可能需要數月時間。
除了這些挑戰,訓練執行還需要大量能源,經常會導致電力短缺,disrupting processes and impacting the wider electriciy grid. 另一個問題是大型語言模型使用的海量資料,以至於人工智慧模型據報告已經耗盡了全球所有可訪問的資料。
研究人員正在探索一種稱為"測試時計算"的技術,以在訓練或推理階段提高當前的人工智慧模型。該方法可以涉及實時生成多個答案,以確定最佳解決方案範圍。因此,該模型可以將更多處理資源分配給需要人類決策和推理的困難任務,目的是使模型更加準確和強大。
幫助開發o1模型的OpenAI研究員Noam Brown在上月舊金山的TED AI會議上分享了一個如何透過新方法取得令人驚訝結果的例子。他解釋說,"讓一個機器人在一手撲克牌中思考20秒,其效能提升就相當於將模型規模擴大100,000倍,並訓練100,000倍長的時間"。
與簡單增加模型規模和訓練時間不同,這種方法可以改變人工智慧模型處理資訊的方式,從而產生更強大、更高效的系統。
據報道,其他人工智慧實驗室也一直在開發o1技術的版本,包括xAI、Google DeepMind和Anthropic。人工智慧領域的競爭並非新鮮事,但新技術可能會對人工智慧硬體市場產生重大影響。目前主導人工智慧晶片供應的公司Nvidia可能會受到特別大的影響。
Nvidia於10月成為全球最有價值的公司,其財富的大幅增長主要歸功於其晶片在人工智慧陣列中的使用。新技術可能會影響Nvidia的市場地位,迫使該公司調整產品以滿足不斷變化的人工智慧硬體需求。這可能為新競爭對手在推理市場上開啟更多空間。
一個新的人工智慧發展時代可能即將到來,這將由不斷變化的硬體需求和更高效的訓練方法(如o1模型中採用的方法)推動。人工智慧模型及其背後的公司的未來可能會被重塑,釋放前所未有的可能性和更大的競爭。
想從行業領袖那裡瞭解更多關於人工智慧和大資料的知識嗎?檢視在阿姆斯特丹、加州和倫敦舉辦的人工智慧&大資料博覽會。這個全面的活動與其他領先活動如智慧自動化大會、BlockX、數字化轉型周等同期舉辦。
本文最初發表於人工智慧新聞。
