强化学习：去中心化人工智能的范式转变
作者： @0xjacobzhao | https://linktr.ee/0xjacobzhao
本独立研究报告由IOSG Ventures提供支持。研究和撰写过程的灵感来源于Sam Lehman （Pantera Capital）在强化学习领域的工作。感谢Ben Fielding （ Gensyn.ai ）、 Gao Yuan （ Gradient ）、 Samuel Dare和Erfan Miahi （ Covenant AI ）、 Shashank Yadav （ Fraction AI ）以及Chao Wang的贡献。 感谢各位对本文提出的宝贵建议。本文力求客观准确，但部分观点涉及主观判断，可能存在偏见。感谢读者的理解。
人工智能正从基于模式的统计学习转向结构化推理系统，而训练后训练——尤其是强化学习——对于能力扩展至关重要。DeepSeek -R1标志着范式转变：强化学习如今已显著提升推理深度和复杂决策能力，从单纯的对齐工具发展成为持续智能增强的途径。
与此同时，Web3 正在通过去中心化计算和加密激励重塑人工智能的生产模式，其可验证性和协调性与强化学习的需求天然契合。本报告探讨了人工智能训练范式和强化学习的基本原理，重点阐述了“强化学习 × Web3 ”的结构优势，并分析了 Prime Intellect、Gensyn、Nous Research、Gradient、Grail 和 Fraction AI 等公司。
一、人工智能训练的三个阶段
现代逻辑学习模型（LLM）训练分为三个阶段——预训练、监督微调（SFT）和后训练/强化学习——分别对应于构建世界模型、注入任务能力以及塑造推理和价值观。它们的计算和验证特性决定了它们与去中心化的兼容性。
- 预训练：通过大规模自监督学习建立核心统计和多模态基础，消耗总成本的 80-95%，需要紧密同步的同构 GPU 集群和高带宽数据访问，使其本质上是集中式的。
- 监督微调 (SFT)：以较小的数据集和较低的成本 (5-15%) 添加任务和指令功能，通常使用 PEFT 方法，如 LoRA 或 Q-LoRA，但仍然依赖于梯度同步，限制了去中心化。
- 训练后阶段：训练后阶段包含多个迭代步骤，用于塑造模型的推理能力、价值观和安全边界。它涵盖了基于强化学习的方法（例如 RLHF、RLAIF、GRPO） 、非强化学习的偏好优化方法（例如DPO）以及过程奖励模型 ( PRM) 。由于数据和成本需求较低（约 5-10%），计算重点在于部署和策略更新。它原生支持异步分布式执行——通常无需完整的模型权重——使得训练后阶段成为基于 Web3 的去中心化训练网络的最佳选择，尤其是在结合可验证计算和链上激励机制时。
二、强化学习技术概览
2.1 强化学习的系统架构
强化学习通过环境交互、奖励信号和策略更新的反馈循环，使模型能够改进决策。从结构上看，强化学习系统由三个核心组件构成：策略网络、用于经验采样的展开机制和用于策略优化的学习器。策略网络通过与环境交互生成轨迹，而学习器则根据奖励更新策略，从而形成一个持续迭代的学习过程。
- 策略网络（策略）：根据环境状态生成动作，是系统的决策核心。它需要集中式反向传播来保持训练过程中的一致性；在推理过程中，它可以分布到不同的节点进行并行操作。
- 经验采样（部署）：节点根据策略执行环境交互，生成状态-动作-奖励轨迹。该过程高度并行，通信量极低，对硬件差异不敏感，是去中心化扩展中最适合的组件。
- 学习器：聚合所有 Rollout 轨迹并执行策略梯度更新。它是唯一对计算能力和带宽要求最高的模块，因此通常采用集中式或轻集中式架构，以确保收敛稳定性。
2.2 强化学习阶段框架
强化学习通常可以分为五个阶段，整个过程如下：
- 数据生成阶段（策略探索）：给定一个提示，策略对多个推理链或轨迹进行采样，为偏好评估和奖励建模提供候选方案，并定义策略探索的范围。
- 偏好反馈阶段（RLHF / RLAIF）：
- RLHF（基于人类反馈的强化学习）：根据人类偏好训练奖励模型，然后使用强化学习（通常是 PPO）根据该奖励信号优化策略。
- RLAIF（从人工智能反馈中强化学习）：用人工智能法官或宪法规则取代人类，降低成本并扩大协调范围——现在已成为 Anthropic、OpenAI 和 DeepSeek 的主要方法。
3. 奖励建模阶段（奖励建模）：学习如何根据偏好对将输出映射到奖励。RM 教模型“什么是正确答案”，而 PRM 教模型“如何正确推理”。
- RM（奖励模型）：用于评估最终答案的质量，仅对输出结果进行评分。
- 过程奖励模型（PRM）：对逐步推理进行评分，有效地训练模型的推理过程（例如，在 o1 和 DeepSeek-R1 中）。
4. 奖励验证（RLVR / 奖励可验证性） ：奖励验证层约束奖励信号，使其仅来源于可复现的规则、真实事实或共识机制。这可以减少奖励作弊和系统性偏差，并提高开放和分布式训练环境中的可审计性和鲁棒性。
5. 策略优化阶段（策略优化）：在奖励模型提供的信号指导下更新策略参数 $\theta$，以获得推理能力更强、安全性更高、行为模式更稳定的策略 $\pi_{\theta'}$。主流的优化方法包括：
- PPO（近端策略优化）：标准的 RLHF 优化器，因其稳定性而受到重视，但受限于复杂推理中的收敛速度慢。
- GRPO（组相对策略优化）：由 DeepSeek-R1 引入，使用组级优势估计而不是简单的排序来优化策略，从而保持价值幅度并实现更稳定的推理链优化。
- DPO（直接偏好优化）：通过直接优化偏好对来绕过强化学习——对于对齐来说成本低廉且稳定，但在提高推理能力方面效果不佳。
6. 新政策部署阶段（新政策部署）：更新后的模型表现出更强的系统 2 推理能力、更好的偏好一致性、更少的幻觉和更高的安全性，并通过迭代反馈循环不断改进。
2.3 强化学习的工业应用
强化学习（RL）已从早期的游戏智能发展成为跨行业自主决策的核心框架。根据技术成熟度和产业应用情况，其应用场景可归纳为五大类：
- 游戏与策略：这是强化学习最早得到验证的方向。在AlphaGo、AlphaZero、AlphaStar和OpenAI Five等“完美信息+明确奖励”的环境中，强化学习展现出了与人类专家相当甚至超越人类专家的决策智能，为现代强化学习算法奠定了基础。
- 机器人技术与具身人工智能：通过连续控制、动力学建模和环境交互，强化学习使机器人能够学习操作、运动控制和跨模态任务（例如，RT-2、RT-X）。它正迅速走向产业化，是机器人实际部署的关键技术途径。
- 数字推理/LLM系统-2：强化学习+概率资源管理（RL+PRM）驱动大型模型从“语言模仿”发展到“结构化推理”。代表性成果包括DeepSeek-R1、OpenAI o1/o3、Anthropic Claude和AlphaGeometry。本质上，它在推理链层面进行奖励优化，而不仅仅是评估最终答案。
- 科学发现与数学优化：强化学习（RL）能够在无标签、复杂奖励和庞大的搜索空间中找到最优结构或策略。它在 AlphaTensor、AlphaDev 和 Fusion RL 领域取得了基础性突破，展现出超越人类直觉的探索能力。
- 经济决策与交易：强化学习（RL）应用于策略优化、高维风险控制和自适应交易系统生成。与传统量化模型相比，它能够在不确定环境下持续学习，是智能金融的重要组成部分。
三、强化学习与Web3的天然契合
强化学习和 Web3 作为激励驱动系统，天然契合：强化学习通过奖励优化行为，而区块链则通过经济激励协调参与者。强化学习的核心需求——大规模异构部署、奖励分配和可验证的执行——与 Web3 的结构优势完美契合。
- 推理与训练的解耦：强化学习分为部署阶段和更新阶段：部署阶段计算量大但通信量小，可以在分布式消费级GPU上并行运行；而更新阶段则需要集中式的高带宽资源。这种解耦使得开放网络能够利用代币激励来处理部署阶段，而集中式更新阶段则能维持训练的稳定性。
- 可验证性：零知识 (ZK) 和学习证明 (Proof-of-Learning) 提供了验证节点是否真正执行了推理的方法，从而解决了开放网络中的诚信问题。在代码和数学推理等确定性任务中，验证者只需检查答案即可确认工作负载，这显著提高了去中心化强化学习系统的可信度。
- 激励层，基于代币经济的反馈生成机制： Web3 代币激励可以直接奖励 RLHF/RLAIF 反馈贡献者，实现透明、无需许可的偏好生成，质押和惩罚机制比传统的众包更有效地强制执行质量。
- 多智能体强化学习 (MARL) 的潜力：区块链形成开放的、激励驱动的多智能体环境，具有公开状态、可验证执行和可编程激励，使其成为大规模 MARL 的天然试验平台，尽管该领域仍处于早期阶段。
四、Web3+强化学习项目分析
基于上述理论框架，我们将简要分析当前生态系统中最具代表性的项目：
Prime Intellect：异步强化学习 prime-rl
Prime Intellect致力于构建开放的全球计算市场和开源超级智能技术栈，涵盖Prime Compute 、 INTELLECT 模型系列、开放式强化学习环境以及大规模合成数据引擎。其核心框架 prime-rl专为异步分布式强化学习而设计，并辅以OpenDiLoCo实现高效带宽训练，以及TopLoc进行验证。
Prime Intellect 核心基础架构组件概述
技术基石：prime-rl异步强化学习框架
prime-rl 是 Prime Intellect 的核心训练引擎，专为大规模异步去中心化环境而设计。它通过完全的 Actor-Learner 解耦，实现了高吞吐量推理和稳定更新。执行器（Rollout Worker）和学习器（Trainer）不会同步阻塞。节点可以随时加入或离开，只需持续拉取最新策略并上传生成的数据即可：
- Actor（部署工作节点）：负责模型推理和数据生成。Prime Intellect 创新性地将 vLLM 推理引擎集成到 Actor 端。vLLM 的 PagedAttention 技术和连续批处理功能使 Actor 能够以极高的吞吐量生成推理轨迹。
- 学习器（训练器）：负责策略优化。学习器异步地从共享的经验缓冲区提取数据以更新梯度，而无需等待所有 Actor 完成当前批次。
- 协调器：负责安排模型权重和数据流。
prime-rl 的主要创新点：
- 真正的异步性： prime-rl 摒弃了 PPO 的传统同步范式，无需等待慢节点，也无需批处理对齐，使得任意数量和性能的 GPU 都能随时访问，从而建立了去中心化强化学习的可行性。
- FSDP2与MoE的深度融合：通过FSDP2参数分片和MoE稀疏激活，prime-rl能够在分布式环境中高效训练数百亿参数模型。Actor仅运行活跃专家，显著降低了显存占用和推理成本。
- GRPO+（组相对策略优化）： GRPO 消除了 Critic 网络，显著降低了计算和显存开销，并能自然地适应异步环境。prime-rl 的 GRPO+ 通过稳定机制确保在高延迟条件下也能可靠收敛。
INTELLECT 模型家族：去中心化强化学习技术成熟的象征
- INTELLECT-1（10B，2024 年 10 月）：首次证明 OpenDiLoCo 可以在跨越三大洲的异构网络中高效训练（通信份额 < 2%，计算利用率 98%），打破了跨区域训练的物理认知。
- INTELLECT-2（32B，2025 年 4 月）：作为第一个无需许可的强化学习模型，它验证了 prime-rl 和 GRPO+ 在多步延迟和异步环境下的稳定收敛能力，实现了具有全球开放计算参与性的去中心化强化学习。
- INTELLECT-3（1060亿教育部预算，2025年11月）：采用稀疏架构，仅激活120亿个参数，在512×H200数据集上训练，并取得了旗舰级推理性能（AIME 90.8%，GPQA 74.4%，MMLU-Pro 81.9%等）。其整体性能接近或超越了规模远大于自身的集中式闭源模型。
Prime Intellect 构建了一套完整的去中心化强化学习 (RL) 技术栈：OpenDiLoCo 将跨区域的训练流量大幅降低，同时在各大洲保持了约 98% 的利用率；TopLoc 和 Verifiers 通过激活指纹和沙盒验证确保推理和奖励数据的可信度；SYNTHETIC 数据引擎生成高质量的推理链，并通过流水线并行技术使大型模型能够在消费级 GPU 上高效运行。这些组件共同支撑着去中心化 RL 中可扩展的数据生成、验证和推理，INTELLECT 系列产品证明了此类系统能够在实践中交付世界一流的模型。
Gensyn：RL Core Stack、RL Swarm 和 SAPO
Gensyn致力于将全球闲置计算资源整合到一个无需信任、可扩展的 AI 训练网络中，它结合了标准化执行、P2P 协调和链上任务验证。通过 RL Swarm、SAPO 和 SkipPipe 等机制，Gensyn 将生成、评估和更新过程在异构 GPU 之间解耦，不仅提供计算能力，更提供可验证的智能。
Gensyn堆栈中的强化学习应用
RL Swarm：去中心化协作强化学习引擎
RL Swarm 展示了一种全新的协作模式。它不再是简单的任务分配，而是一个受协作学习启发、模拟人类社会学习的去中心化生成-评估-更新无限循环：
- 求解器（执行器）：负责本地模型推理和 Rollout 生成，不受节点异构性的影响。Gensyn 在本地集成了高吞吐量推理引擎（例如 CodeZero），以输出完整的轨迹，而不仅仅是答案。
- 提案者：动态生成任务（数学问题、编程问题等），实现任务多样性和类似课程的适应性，以根据模型能力调整训练难度。
- 评估者：使用固定的“评判模型”或规则来检查输出质量，形成由每个节点独立评估的局部奖励信号。评估过程可审计，从而减少了恶意行为的可能性。
这三者构成了P2P RL组织结构，无需集中调度即可完成大规模协作学习。
SAPO：为分散化而重构的策略优化算法
SAPO（群体采样策略优化）的核心在于共享展开式，同时过滤掉那些不包含梯度信号的展开式，而非共享梯度。通过实现大规模分散式展开式采样，并将接收到的展开式视为本地生成，SAPO 能够在缺乏中心协调且节点延迟差异显著的环境中保持稳定的收敛性。与 PPO（依赖于计算成本极高的评判网络）或 GRPO（依赖于群体级优势估计而非简单的排序）相比，SAPO 使得消费级 GPU 能够以极低的带宽需求高效地参与大规模强化学习优化。
Gensyn 通过RL Swarm和SAPO证明，强化学习（尤其是训练后的 RLVR）天然适合去中心化架构，因为它更依赖于通过 rollout 进行的多样化探索，而非高频参数同步。结合PoL和Verde验证系统，Gensyn 为训练万亿参数模型提供了一条替代路径：一个由全球数百万个异构 GPU 组成的自演化超级智能网络。
Nous Research：强化学习环境 Atropos
Nous Research正在构建一个去中心化的、可自我演化的认知技术栈，其中 Hermes、Atropos、DisTrO、Psyche 和 World Sim 等组件构成了一个闭环智能系统。该系统利用 DPO、GRPO 和拒绝采样等强化学习方法，以贯穿数据生成、学习和推理的持续反馈取代了线性训练流程。
Nous 研究组件概述
模型层：赫尔墨斯与推理能力的演化
Hermes系列是Nous Research面向用户的主要模型界面。它的演变清晰地展现了行业从传统的SFT/DPO模式向推理强化学习（Reasoning RL）模式的转变路径：
- Hermes 1-3：指令对齐和早期代理功能： Hermes 1-3 依靠低成本的 DPO 实现稳健的指令对齐，并利用合成数据，并在 Hermes 3 中首次引入 Atropos 验证机制。
- Hermes 4 / DeepHermes：通过思维链将 System 2 风格的慢思考写入权重，通过测试时缩放提高数学和代码性能，并依靠“拒绝采样 + Atropos 验证”来构建高纯度推理数据。
- DeepHermes进一步采用 GRPO 取代 PPO（主要是因为 PPO 难以实现），使推理强化学习能够在 Psyche 去中心化 GPU 网络上运行，为开源推理强化学习的可扩展性奠定了工程基础。
Atropos：可验证的奖励驱动强化学习环境
Atropos 是 Nous 强化学习系统的真正核心。它将提示、工具调用、代码执行和多轮交互封装到一个标准化的强化学习环境中，直接验证输出是否正确，从而提供确定性的奖励信号，以取代成本高昂且难以扩展的人工标注。更重要的是，在去中心化训练网络 Psyche 中，Atropos 充当“裁判”，验证节点是否真正改进了策略，支持可审计的学习证明，从根本上解决了分布式强化学习中的奖励可信度问题。
DisTrO 和 Psyche：去中心化强化学习的优化器层
传统的RLF（RLHF/RLAIF）训练依赖于集中式的高带宽集群，这是开源技术无法复制的核心障碍。DisTrO通过动量解耦和梯度压缩将强化学习的通信成本降低了几个数量级，使得训练能够在互联网带宽上运行；Psyche将这种训练机制部署在链上网络上，允许节点在本地完成推理、验证、奖励评估和权重更新，从而形成一个完整的强化学习闭环。
在Nous系统中， Atropos验证思维链； DisTrO压缩训练通信； Psyche运行强化学习循环； World Sim提供复杂环境； Forge收集真实推理过程； Hermes将所有学习成果写入权重。强化学习不仅仅是一个训练阶段，更是连接Nous架构中数据、环境、模型和基础设施的核心协议，使Hermes成为一个能够在开放计算网络上持续自我改进的“生命系统”。
梯度网络：强化学习架构回声
Gradient Network旨在通过开放智能堆栈重建 AI 计算：这是一套模块化的互操作协议，涵盖 P2P 通信 (Lattica)、分布式推理 (Parallax)、去中心化 RL 训练 (Echo)、验证 (VeriLLM)、模拟 (Mirage) 以及更高级别的内存和代理协调——共同构成一个不断发展的去中心化智能基础设施。
Echo——强化学习训练架构
Echo 是 Gradient 的强化学习框架。其核心设计原则在于将强化学习中的训练、推理和数据（奖励）路径解耦，分别在异构推理群和训练群中运行，并通过轻量级同步协议在广域异构环境中保持稳定的优化行为。这有效地缓解了传统 DeepSpeed RLHF/VERL 中因混合推理和训练而导致的 SPMD 故障和 GPU 利用率瓶颈。
Echo 采用“推理训练双集群架构”来最大限度地利用计算能力。两个集群独立运行，互不干扰：
- 最大化采样吞吐量：推理集群由消费级 GPU 和边缘设备组成，通过与 Parallax 的流水线并行构建高吞吐量采样器，专注于轨迹生成。
- 最大化梯度计算能力：训练群可以在集中式集群或全球分布式消费级 GPU 网络上运行，负责梯度更新、参数同步和 LoRA 微调，专注于学习过程。
为了保持策略和数据的一致性，Echo 提供了两种轻量级同步协议：顺序同步和异步同步，用于管理策略权重和轨迹的双向一致性：
- 顺序拉取模式（准确率优先）：训练端强制推理节点在拉取新轨迹之前刷新模型版本，以确保轨迹的新鲜度，适用于对策略陈旧性高度敏感的任务。
- 异步推拉模式（效率优先）：推理端持续生成带有版本标签的轨迹，训练端则按自身节奏使用这些轨迹。协调器监控版本偏差并触发权重刷新，从而最大限度地提高设备利用率。
Echo 底层基于 Parallax（低带宽环境下的异构推理）和轻量级分布式训练组件（例如 VERL），依靠 LoRA 来降低跨节点同步成本，从而使强化学习能够在全局异构网络上稳定运行。
Grail：Bittensor 生态系统中的强化学习
Bittensor 通过其独特的 Yuma 共识机制构建了一个庞大、稀疏、非平稳的奖励函数网络。
在Bittensor生态系统中， Covenant AI通过SN3 Templar、SN39 Basilica和SN81 Grail构建了从预训练到强化学习后训练的垂直整合流水线。其中，SN3 Templar负责基础模型预训练，SN39 Basilica提供分布式算力市场，而SN81 Grail作为强化学习后训练的“可验证推理层”，承载RLHF/RLAIF的核心流程，并完成从基础模型到对齐策略的闭环优化。
GRAIL通过加密方式验证强化学习部署并将其与模型身份绑定，从而实现无需信任的强化学习框架（RLHF）。它利用确定性挑战来防止预计算，利用低成本采样和承诺来验证部署，并利用模型指纹来检测替换或重放——为强化学习推理轨迹建立端到端的真实性。
Grail 的子网实现了一个可验证的 GRPO 式训练后循环：矿工生成多条推理路径，验证者对正确性和推理质量进行评分，并将归一化结果写入链上。公开测试将 Qwen2.5–1.5B MATH 的准确率从 12.7% 提升至 47.6%，展现出强大的抗作弊能力和显著的性能提升；在 Covenant AI 中，Grail 作为去中心化 RLVR/RLAIF 的信任和执行核心。
Fraction AI：基于竞争的强化学习 RLFC
Fraction AI将对齐问题重新定义为基于竞争的强化学习，它采用游戏化的标注方式和智能体之间的竞赛。相对排名和 AI 评委评分取代了静态的人工标注，将 RLHF 转变为一个持续的、竞争性的多智能体游戏。
传统RLHF与Fraction AI的RLFC之间的核心区别：
RLFC的核心价值在于奖励来源于不断演变的对手和评估者，而非单一模型，从而减少奖励作弊行为并保持策略多样性。空间设计塑造了游戏动态，促成了复杂的竞争与合作行为。
在系统架构方面，Fraction AI 将训练过程分解为四个关键组成部分：
- 代理：基于开源 LLM 的轻量级策略单元，通过 QLoRA 扩展，具有差异化权重以实现低成本更新。
- 空间：孤立的任务领域环境，智能体付费进入并通过获胜获得奖励。
- AI 评委：采用 RLAIF 构建的即时奖励层，提供可扩展的去中心化评估。
- 学习证明：将政策更新与特定比赛结果绑定，确保训练过程可验证且防作弊。
Fraction AI 的功能类似于人机协同进化引擎：用户充当元优化器来指导探索，而代理则竞争生成高质量的偏好数据，从而实现无需信任的商业化微调。
Web3强化学习项目架构比较
V. 强化学习的路径与机遇 × Web3
在这些前沿项目中，尽管切入点不同，但强化学习与 Web3 结合，始终朝着共享的“解耦-验证-激励”架构发展——这是将强化学习应用于去中心化网络的必然结果。
强化学习的通用架构特征：解决核心物理限制和信任问题
- 演练与学习的解耦（推理/训练的物理分离）——默认计算拓扑：通信稀疏、可并行化的演练外包给全球消费级GPU，而高带宽的参数更新则集中在少数训练节点上。从Prime Intellect的异步Actor-Learner到Gradient Echo的双群架构，都遵循这一原则。
- 基于验证的信任——基础设施化：在无需许可的网络中，必须通过数学和机制设计来强制保证计算的真实性。代表性的实现包括 Gensyn 的 PoL、Prime Intellect 的 TopLoc 和 Grail 的密码验证。
- 代币化激励循环——市场自律：代币供应量计算、数据生成、验证排序和奖励分配构成一个闭环。奖励驱动参与，惩罚机制抑制作弊行为，从而在开放环境中保持网络稳定并持续发展。
差异化技术路径：一致架构下的不同“突破点”
尽管建筑风格趋于融合，但各个项目会根据自身的基因选择不同的技术壁垒：
- 算法突破学校（Nous Research）：在优化器级别解决分布式训练的带宽瓶颈——DisTrO 将梯度通信压缩了几个数量级，旨在实现通过家庭宽带进行大型模型训练。
- 系统工程学院（Prime Intellect、Gensyn、Gradient）：专注于构建下一代“AI运行时系统”。Prime Intellect的ShardCast和Gradient的Parallax旨在通过极致的工程手段，在现有网络条件下最大限度地提高异构集群的效率。
- 市场博弈学派（Bittensor、Fraction AI）：专注于奖励函数的设计。通过设计复杂的评分机制，他们引导矿工自发地找到最优策略，从而加速智能的涌现。
优势、挑战和终局展望
在强化学习与 Web3 相结合的范式下，系统级优势首先体现在成本结构和治理结构的重写上。
- 成本重塑：强化学习后训练对采样有着无限的需求（Rollout）。Web3 可以以极低的成本调动全球长尾计算能力，这是集中式云服务提供商难以匹敌的成本优势。
- 主权联盟：打破大型科技公司对人工智能价值观（联盟）的垄断。社区可以通过代币投票决定模型的“好答案”，实现人工智能治理的民主化。
与此同时，该系统面临两个结构性制约因素：
- 带宽瓶颈：尽管有 DisTrO 等创新技术，物理延迟仍然限制了超大型参数模型（700 亿以上）的完整训练。目前，Web3 AI 更多地局限于微调和推理。
- 奖励机制滥用（古德哈特定律）：在激励机制高度完善的网络中，矿工极易“过度拟合”奖励规则（钻空子），而非真正提升自身智能。设计防作弊、稳健的奖励函数是一项永无止境的挑战。
- 恶意拜占庭工人：指的是故意操纵和污染训练信号以破坏模型收敛。其核心挑战并非持续设计抗作弊的奖励函数，而是具有对抗鲁棒性的机制。
强化学习（RL）和Web3正在通过去中心化的部署网络、链上资产化反馈以及具有直接价值获取能力的垂直强化学习代理重塑智能。真正的机遇并非去中心化的OpenAI，而是全新的智能生产关系——开放的计算市场、可治理的奖励和偏好，以及训练者、算法校准者和用户之间的价值共享。
免责声明：本文借助人工智能工具 ChatGPT-5 和 Gemini 3 完成。作者已尽力校对并确保信息的真实性和准确性，但仍可能存在遗漏，敬请谅解。特别需要注意的是，加密资产市场经常出现项目基本面与二级市场价格表现背离的情况。本文内容仅供信息整合和学术/研究交流之用，不构成任何投资建议，也不应被视为买卖任何代币的推荐。
从计算到智能：RL 驱动的去中心化人工智能投资路线图最初发表在 Medium 上的IOSG Ventures专栏，人们正在那里通过突出显示和回应这篇文章继续进行讨论。
