OpenAI正在应对最新人工智能模型收益递减的压力,同时也在应对最近投资带来的压力。
根据The Information的报道,OpenAI的下一代人工智能模型-代号Orion-与其前代相比,性能提升较小。
在员工测试中,Orion在完成20%的训练后,据报道已达到了GPT-4的性能水平。但从GPT-4到预期的GPT-5的过渡,质量提升被认为要小于从GPT-3到GPT-4的飞跃。
"该公司的一些研究人员认为,Orion在处理某些任务时可靠性不如其前代,"员工在报告中表示。"一位OpenAI员工表示,Orion在语言任务方面表现更好,但可能无法超越前几代模型在编码等任务上的表现。"
人工智能训练的早期阶段通常会产生最显著的改进,而后续阶段通常只会带来较小的性能提升。因此,剩余80%的训练很可能无法带来与前几代相当的进步。
这种情况出现在OpenAI最新的人工智能模型上,正值该公司最近完成了66亿美元的融资。这笔资金的支持,也带来了投资者的更高期望,以及在人工智能开发中复杂化的技术挑战。
如果这些早期版本无法达到预期,OpenAI未来的融资前景可能无法吸引同等程度的关注。
报告中突出的局限性,凸显了整个人工智能行业面临的一个重大挑战:高质量训练数据的可用性日益减少,以及在日益激烈的竞争领域保持相关性的必要性。
根据6月发表的一篇论文(PDF),人工智能公司将在2026年至2032年之间耗尽公开可用的人类生成文本数据。The Information指出,开发者已经"基本挤干了"近年来推动人工智能快速进步的数据。
为应对这些挑战,OpenAI正在从根本上重新思考其人工智能开发策略。
"为应对训练规模定律放缓导致的GPT改进放缓的最新挑战,行业似乎正在将努力转向在初始训练之后改进模型,这可能会产生一种不同类型的规模定律,"The Information解释道。
在应对这些挑战的同时,OpenAI必须在创新与实际应用以及投资者期望之间保持平衡。然而,公司领导层的持续流失并不会有助于解决这些问题。
(照片由Jukan Tateisi拍摄)
另见:ASI联盟推出AIRIS,可在Minecraft中"学习"
想从行业领导者那里了解更多关于人工智能和大数据的知识吗?查看在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能&大数据博览会。这个全面的活动与其他领先活动如智能自动化大会、BlockX、数字化转型周和网络安全&云计算博览会同期举办。
在TechForge的这里探索其他即将到来的企业技术活动和网络研讨会。
本文最初发表于《人工智能新闻》。
