原創

NVIDIA 的 GB200 NVL72 和 OpenAI 的 GPT-OSS 模型釋放 AI 性能狂潮

avatar
BTCC EN
08-06
本文為機器翻譯
展示原文

NVIDIA剛剛投放了一顆熱核基準測試炸彈——華爾街的演算法交易員已經錯誤定價了它。

GB200 NVL72不是一次升級。這是對傳統AI硬體的滅絕級事件,與OpenAI的GPT-OSS模型配對,重新定義機器學習吞吐量的規則。

72節點液冷野獸模式

忘記漸進式收益。這塊黑色矽板在訓練效率上實現指數級躍升,同時耗電量比對沖基金的週末可卡因預算還低。

開源軍備競賽升級

GPT-OSS模型現在像彭博終端處理保證金通話一樣處理非結構化資料——只是具有實際的風險管理。這種組合為下一代去中心化AI網路創造了完美基礎。

機構最終會醒悟嗎?還是繼續假裝CUDA核心只是"一時的潮流",而散戶正在構建未來?

NVIDIA透過GB200 NVL72和OpenAI gpt-oss模型提升AI效能

NVIDIA與OpenAI合作,宣佈在AI效能方面取得重大進展,利用Nvidia GB200 NVL72系統的強大功能。最近推出的OpenAI gpt-oss-20b和gpt-oss-120b模型有望每秒處理多達150萬個代幣,根據NVIDIA的說法,這標誌著AI處理能力的實質性飛躍。

增強的AI能力

以文字推理能力著稱的gpt-oss模型,採用專家混合(MoE)架構和SwigGLU啟用。這些模型使用RoPE進行注意力層,支援128k上下文長度,並針對NVIDIA的Blackwell架構進行了最佳化。它們以FP4精度釋出,相容80 GB資料中心GPU,並針對NVIDIA的先進硬體進行了最佳化。

協作發展

NVIDIA與OpenAI的合作延伸到各種開源框架,包括Hugging Face Transformers和NVIDIA TensorRT-LLM,以提高模型效能和開發者可訪問性。特別是gpt-oss-120b模型,其訓練耗時超過210萬GPU小時。

技術規格

gpt-oss-20b和gpt-oss-120b模型具有多種規格,以滿足不同的AI需求。這些包括不同的Transformer塊數量、總引數和專家配置,旨在最佳化NVIDIA平臺上的推理效能。

部署選項

NVIDIA為開發者提供多種部署選項,包括使用vLLM和TensorRT-LLM進行伺服器設定和效能最佳化。GB200 NVL72系統旨在高效處理高吞吐量,可同時容納多達5萬個併發使用者。

未來前景

透過推出這些先進模型,NVIDIA旨在支援從雲端到邊緣的廣泛AI應用。他們致力於在各個平臺上整合gpt-oss模型,凸顯了增強AI基礎設施和開發者體驗的承諾。

欲瞭解這些模型的部署和功能的更多詳情,請訪問NVIDIA部落格。

圖片來源:Shutterstock
  • nvidia
  • openai
  • ai模型
  • gb200 nvl72

免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論