人工智能公司 Gradient 推出“Echo-2”，可将模型训练成本降低 90% 以上

人工智能基础设施公司 Gradient 发布了其新一代去中心化强化学习 (RL) 平台 Echo-2。该平台利用分布式计算技术，充分利用全球闲置的 GPU 资源，有效解决了计算成本高昂的问题。这种方法主要针对采样过程，该过程占强化学习计算的 80%，非常适合进行高级并行处理。 Gradient 成功地将一个拥有 300 亿参数的模型的训练成本降低了 10 倍以上，从商业云平台上的每次训练约 4,490 美元降至约 425 美元。训练时间也显著缩短至 9.5 小时。 Echo-2 采用了基于“有界陈旧性”的异步强化学习技术，该技术将学习者与参与者分离，并严格控制模型版本之间的时间延迟，从而保持训练的稳定性。它还采用了“Lattica”点对点协议，可在短短几分钟内将超过 60GB 的大型模型权重部署到数百个节点；此外，它还采用了“三平面架构”，可独立管理部署、训练和数据，从而创建一个无需复杂设置即可运行的环境。 Gradient 的一位代表表示，Echo-2 将为任何人构建和拥有最先进的推理模型奠定基础，而无需考虑经济因素。