SN 5:引领文本嵌入模型的去中心化革新

SN 5于九月底迎来了一次重大更新,我们将在这篇文章中介绍其具体内容,便于市场重新理解、评估SN 5的重要性和潜力。

Subnet 5 Open Kaito

Emission:0.88%(2024–10–10)

Github:https://github.com/OpenKaito/openkaito

Staked $TAO amount by Root Network validators on SN 5 (Amount = Validator’s total staked * Validator’s weight on SN 5)

什么是SN5?

Bittensor Subnet 5的核心目标是开发世界上性能最好、用途最广泛的文本嵌入模型,并实现去中心化的模型训练、评估和服务,同时以API的形式开放这些模型,为广泛的下游应用提供支持。

SN 5利用Bittensor去中心化节点网络实现模型的动态评估与持续改进。

SN 5的Miners负责使用持续更新的大规模文本语料库训练模型,并且承诺以低延迟和高吞吐量的方式提供模型,响应下游应用的请求。

SN 5的Validators则负责使用一系列基准进行严格的模型评估,不断筛选出更优质的模型。Miners提供的模型将与市面上最优的文本嵌入模型进行比较,以确保SN 5产出的模型始终具备竞争力并持续进化。

如何评估Miners?

SN 5中,Miners会收到一批批文本,使用其提供的模型进行文本嵌入,Validators则通过对比学习损失函数来评估Miners的嵌入质量。

损失函数的公式为:

https://github.com/OpenKaito/openkaito/tree/main#incentive-mechanism

其中,c是目标嵌入,x是正样本,x’是负样本。这一过程旨在最大化正样本x与目标嵌入c之间的互信息。

嵌入质量更高的Miners将获得更高的评分,其提供的模型也被认为是更优质的。

SN 5的更新取得了怎样的产出?

在这样的激励机制下,SN 5产品的模型已经取得了一定的成果:

https://x.com/openkaito/status/1843859161169440992

在2024年10月9日,Miners提供的文本嵌入模型相比以Openai为基准实现了改善。

随着SN 5产出的模型质量提升,用户将能够访问超越现有最先进模型性能的通用文本嵌入模型。这些模型将通过Bittensor Subnet 5的验证者API公开提供,便于广泛应用和集成到各种应用中。

该如何评价全新的SN 5?

SN5通过去中心化的方式优化和训练文本嵌入模型,能够为Bittensor生态和去中心化AI做出巨大贡献:

  1. 推进行业用途最广泛模型的进化:SN 5的目标是开发世界上性能最好、用途最广泛的文本嵌入模型。SN 5产出的模型将通过一个无限大且动态的数据集进行评估,来确保最高水平的领域泛化能力。
  2. 充分利用去中心化网络确保动态评估与持续改进: 利用Bittensor网络进行去中心化的训练和模型改进,这避免了中心化AI模型开发的局限性,提高了系统的透明度和抗审查能力。并且通过Validators的动态评估不断激励Miners优化模型性能,确保SN5的嵌入模型不仅超越现有的最先进模型,适应最新的现实世界知识,始终保持竞争力并拓宽行业性能的界限。

Medium
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
收藏
评论