Bittensor子網完成歷史最大規模LLM預訓練,DeAI敘事迴歸

avatar
律動
03-16

3 月 16 日,據官方消息,Bittensor 子網 Templar(SN3) 已於 3 月 10 日完成史上最大去中心化 LLM Covenant-72B 預訓練。

據悉,Covenant-72B 是一個擁有 720 億參數的語言模型,由 Templar 團隊在 Bittensor 子網 3 上預訓練而成,完全基於通用互聯網,無需集中式數據中心。該模型在 MMLU(零樣本)測試中取得了 67.1 分,在相同的評估條件下超越了 LLaMA-2-70B 和 LLM360 K2 等集中式基線模型。它是迄今為止規模最大的完全無需許可參與的協作式語言模型,在整個運行過程中,超過 70 個不同的節點貢獻了計算資源。該團隊已根據 Apache 許可證發佈了所有權重和檢查點。

或受此消息影響,Bittensor(TAO)及其子網代幣普漲,TAO 近兩週漲 54.8%。子網代幣τemplar 近 7 日漲幅 194%,現報 19.3 美元。

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論