SpaceX自研C語言AI訓練框架接近完工,將用於訓練Grok v5

ME AI 消息,據 動察 Beating 監測,馬斯克透露,SpaceX 內部團隊正在接近完成用 C 語言自研的超大規模 AI 訓練框架 V1.0 版本。 在硬件映射與並行機制上,全新訓練棧能精準適配由 22 萬張英偉達 GB300 加速卡與 800G 網卡組成的超大規模計算集群。為了壓榨底層算力,框架在設計上極度貼近裸金屬(bare metal)底層,並深度採用流水線並行(pipeline parallelism)技術。馬斯克透露,在應對超大規模訓練任務時,純 C 語言編寫的底層架構相較於谷歌主流的高級 AI 框架 JAX,潛在運行速度可提升一個數量級以上(即 10 倍以上)。 全新自研訓練棧將運行於 SpaceX 旗下的 Colossus 超級計算集群,直接服務於下一代大模型 Grok v5 的全量訓練與迭代。 (來源:ME)

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論