Ai2发布了OLMo 2,这是一系列开源语言模型,推动了人工智能的民主化,缩小了开源和专有解决方案之间的差距。
新的模型有7B和13B参数版本,训练于多达5万亿个令牌,在英语学术基准测试中的性能水平与或超过可比的完全开源模型,同时仍然与开源权重模型(如Llama 3.1)具有竞争力。
"自从2024年2月首次发布OLMo以来,我们看到了开源语言模型生态系统的快速增长,以及开源和专有模型之间性能差距的缩小,"Ai2解释道。
该开发团队通过几项创新实现了这些改进,包括增强的训练稳定性措施、分阶段的训练方法,以及从他们的Tülu 3框架派生的最先进的训练后方法。值得注意的技术改进包括从非参数层归一化切换到RMSNorm,以及实施旋转位置嵌入。
OLMo 2模型训练突破
训练过程采用了复杂的两阶段方法。初始阶段利用了约3.9万亿个令牌的OLMo-Mix-1124数据集,该数据集来自DCLM、Dolma、Starcoder和Proof Pile II。第二阶段通过Dolmino-Mix-1124数据集,融合了高质量的网络数据和特定领域的内容。
值得特别注意的是OLMo 2-Instruct-13B变体,这是该系列中最强大的模型。该模型在各种基准测试中的性能优于Qwen 2.5 14B指令、Tülu 3 8B和Llama 3.1 8B指令模型。
致力于开放科学
为了强化对开放科学的承诺,Ai2发布了全面的文档,包括权重、数据、代码、配方、中间检查点和指令调整模型。这种透明度允许人工智能社区全面检查和复制结果。
该发布还引入了一个名为OLMES(开放语言建模评估系统)的评估框架,包括20个基准,旨在评估知识回忆、常识推理和数学推理等核心能力。
OLMo 2提高了开源人工智能开发的标准,可能会加快该领域创新的步伐,同时保持透明度和可访问性。
(照片由Rick Barrett拍摄)
想从行业领导者那里了解更多关于人工智能和大数据的知识吗?查看在阿姆斯特丹、加利福尼亚和伦敦举办的AI & Big Data Expo。这个全面的活动与其他领先的活动如Intelligent Automation Conference、BlockX、Digital Transformation Week和Cyber Security & Cloud Expo同时举办。
在这里探索由TechForge提供的其他即将到来的企业技术活动和网络研讨会events。
本文最初发表于AI News。
