Meta 已開始訓練 Llama 3 的更強大繼任者

avatar
WIRED
04-19
本文為機器翻譯
展示原文

週四上午,Meta 發佈了其最新的人工智能模型 Llama 3,並稱其是最強大的開源模型,任何人都可以使用。同一天下午, Meta 首席人工智能科學家 Yann LeCun表示,Llama 的更強大的繼任者正在研發中。他表示,這款模型可能會超越世界上最好的封閉式人工智能模型,包括OpenAI 的 GPT-4谷歌的Gemini

Meta 今天發佈了兩個版本的 Llama 3,一個有 80 億個參數(這是行業術語,大致表示模型的強大程度),另一個有 700 億個參數。LeCun 表示,更大的模型正在開發中,最強大的模型有超過 4000 億個參數,目前正在訓練中。

LeCun 在麻省理工學院 (MIT) 舉辦的以生成式人工智能為主題的會議“想象力在行動” (Imagination in Action)上表示:“雖然微調需要花費大量時間,但未來幾個月內,這些模型的大量變體將問世。”目前尚不清楚這個擁有超過 4000 億個參數的模型何時發佈。

Meta 週二推出了一款基於 Llama 3的新助手 Meta AI ,並表示測試表明,這些模型比具有類似參數數量的先前開源模型更好。儘管谷歌和 OpenAI 等大多數最大的人工智能開發商都對其技術保持封閉,但 LeCun 預測開源人工智能模型將發展得更快。他說,從理論上講,它們將更快地推動人工智能向人類水平的智能邁進。

LeCun 認為,從更廣泛的軟件行業來看,開源技術最終會勝出。他說,開放方法已成為軟件基礎設施的主導,因為它可以更快地共享改進,並更全面地審查代碼。“當更多人查看代碼時,人工智能會更好,”他說。“基礎設施需要開源——這樣才能進步得更快。”

Meta 的開源 AI 戰略加速了當前圍繞生成式 AI 的狂熱。當該公司於 2023 年 7 月發佈其 Llama 2 模型時,它為許多初創公司、研究人員和企業家提供了更強大的 AI 模型,供他們下載進行實驗和開發。

OpenAI 的 GPT-4 和 Google 的Gemini只能通過付費 API 獲得,不過 Google 在 2 月份推出了一款名為 Gemma 的小型模型供下載。少數其他公司選擇加入 Meta 的行列,發佈功能強大的開源 AI 模型。就在幾周前, 初創公司 Databricks 推出的一款新模型是目前最強大的開源版本。如果 Meta 報告的基準測試分數正確的話,Llama 3 似乎更強大。

LeCun 週二還承認,Meta 的策略包括免費提供人工智能模型,而 Meta 為開發這些模型付出了高昂的研究和計算資源成本。Meta 創始人兼首席執行官馬克·扎克伯格 (Mark Zuckerberg ) 今年 1 月告訴 CNBC ,Meta 將在 2024 年斥資數十億美元購買訓練機器學習算法所需的 GPU。同月, 他宣佈Meta 的最終目標——就像 OpenAI 和谷歌宣稱的那樣——是開發所謂的通用人工智能,即可以做人類智力所能做的任何事情的機器。

扎克伯格今天在 Instagram 上解釋說,Meta 將把由 Llama 3 提供支持的全新 Meta AI 助手整合到 Whatsapp、Instagram、Facebook 和 Messenger 等產品中。

Meta 在宣佈 Llama 3 的博客文章中表示,它重點關注改進用於開發模型的訓練數據。該公司表示,它的數據量是其前身 Llama 2 的七倍。一些人工智能專家指出,Meta 發佈的數據顯示,創建 Llama 3需要大量能源來為所需的服務器供電。

開源 AI 模型的能力不斷增強,這讓一些專家擔心,它們可能會讓網絡、化學或生物武器的開發變得更加容易,甚至對人類產生敵意。Meta發佈了一些工具,聲稱可以幫助確保 Llama 不會輸出可能有害的言論。

人工智能領域的其他人士表示,Meta 的 Llama 模型不夠開放。該公司對這些模型的開源許可對研究人員和開發人員可以構建的內容施加了一些限制。

“很高興看到越來越多的模型公開發布它們的權重,”非營利實驗室艾倫人工智能研究所高級應用研究科學家 Luca Soldaini 在 Llama 3 發佈後發表聲明稱。“但開放社區需要訪問人工智能管道的所有其他部分——其數據、訓練、日誌、代碼和評估。這最終將加速我們對這些模型的集體理解。”

參與非營利性開源 AI 項目EleutherAI的 AI 研究員Stella Biderman表示,Meta 的 Llama 2 許可證限制了 AI 研究人員可以用它來進行的實驗,並補充說 Llama 3 許可證看起來更加嚴格。“Meta 發佈了權重,但對如何使用它們有嚴格的限制,”Biderman 說。

該模型許可證的一部分規定,“月活躍用戶超過 7 億”的公司必須向 Meta 申請特殊許可——這一條款顯然是為了防止該項目幫助該公司最接近的競爭對手。

即便如此,Llama 3 似乎仍可能引發新一輪人工智能實驗。HuggingFace 首席執行官 Clement Delange 表示,開發人員已經創建了 30,000 多個 Llama 2 變體。HuggingFace一個開放人工智能模型庫,其中包括 Llama 3。“我相信我們也會看到大量基於 Llama 3 的新模型,”他說。“Meta 的社區舉措非常棒。”

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
9
收藏
1
評論