SN 5:引領文本嵌入模型的去中心化革新

SN 5於九月底迎來了一次重大更新,我們將在這篇文章中介紹其具體內容,便於市場重新理解、評估SN 5的重要性和潛力。

Subnet 5 Open Kaito

Emission:0.88%(2024–10–10)

Github:https://github.com/OpenKaito/openkaito

Staked $TAO amount by Root Network validators on SN 5 (Amount = Validator’s total staked * Validator’s weight on SN 5)

什麼是SN5?

Bittensor Subnet 5的核心目標是開發世界上性能最好、用途最廣泛的文本嵌入模型,並實現去中心化的模型訓練、評估和服務,同時以API的形式開放這些模型,為廣泛的下游應用提供支持。

SN 5利用Bittensor去中心化節點網絡實現模型的動態評估與持續改進。

SN 5的Miners負責使用持續更新的大規模文本語料庫訓練模型,並且承諾以低延遲和高吞吐量的方式提供模型,響應下游應用的請求。

SN 5的Validators則負責使用一系列基準進行嚴格的模型評估,不斷篩選出更優質的模型。Miners提供的模型將與市面上最優的文本嵌入模型進行比較,以確保SN 5產出的模型始終具備競爭力並持續進化。

如何評估Miners?

SN 5中,Miners會收到一批批文本,使用其提供的模型進行文本嵌入,Validators則通過對比學習損失函數來評估Miners的嵌入質量。

損失函數的公式為:

https://github.com/OpenKaito/openkaito/tree/main#incentive-mechanism

其中,c是目標嵌入,x是正樣本,x’是負樣本。這一過程旨在最大化正樣本x與目標嵌入c之間的互信息。

嵌入質量更高的Miners將獲得更高的評分,其提供的模型也被認為是更優質的。

SN 5的更新取得了怎樣的產出?

在這樣的激勵機制下,SN 5產品的模型已經取得了一定的成果:

https://x.com/openkaito/status/1843859161169440992

在2024年10月9日,Miners提供的文本嵌入模型相比以Openai為基準實現了改善。

隨著SN 5產出的模型質量提升,用戶將能夠訪問超越現有最先進模型性能的通用文本嵌入模型。這些模型將通過Bittensor Subnet 5的驗證者API公開提供,便於廣泛應用和集成到各種應用中。

該如何評價全新的SN 5?

SN5通過去中心化的方式優化和訓練文本嵌入模型,能夠為Bittensor生態和去中心化AI做出巨大貢獻:

  1. 推進行業用途最廣泛模型的進化:SN 5的目標是開發世界上性能最好、用途最廣泛的文本嵌入模型。SN 5產出的模型將通過一個無限大且動態的數據集進行評估,來確保最高水平的領域泛化能力。
  2. 充分利用去中心化網絡確保動態評估與持續改進: 利用Bittensor網絡進行去中心化的訓練和模型改進,這避免了中心化AI模型開發的侷限性,提高了系統的透明度和抗審查能力。並且通過Validators的動態評估不斷激勵Miners優化模型性能,確保SN5的嵌入模型不僅超越現有的最先進模型,適應最新的現實世界知識,始終保持競爭力並拓寬行業性能的界限。

Medium
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論