OpenAI和其他领先的人工智能公司正在开发新的训练技术来克服当前方法的局限性。这些新的技术专注于模仿人类行为,教会算法"思考",以解决开发更大、更强大的语言模型时出现的意外延迟和复杂问题。
据报道,由一群人工智能研究人员、科学家和投资者领导的这些新训练技术为基础的OpenAI最近推出的"o1"模型(之前称为Q*和Strawberry),有望改变人工智能发展的格局。这些进展可能会影响人工智能公司持续需要的资源类型或数量,包括用于开发人工智能模型的专用硬件和能源。
o1模型旨在以模仿人类推理和思维的方式处理问题,将众多任务分解为步骤。该模型还利用人工智能行业专家提供的专门数据和反馈来提高其性能。
自2022年OpenAI推出ChatGPT以来,人工智能创新呈现井喷态势,许多科技公司声称现有的人工智能模型需要扩展,无论是通过更多数据还是改善计算资源。只有这样,人工智能模型才能持续改进。
现在,人工智能专家报告了在扩大人工智能模型规模方面的局限性。2010年代是扩展的革命性时期,但人工智能实验室Safe Superintelligence (SSI)和OpenAI的联合创始人Ilya Sutskever表示,特别是在理解语言结构和模式方面,人工智能模型的训练已经达到瓶颈。
"2010年代是扩展的时代,现在我们又回到了充满奇迹和发现的时代。扩展正确的事物现在更加重要,"他们说。
近期,人工智能实验室研究人员在开发和发布比OpenAI的GPT-4模型更强大的大型语言模型(LLM)时遇到了延迟和挑战。
首先是训练大型模型的成本,通常高达数千万美元。此外,由于出现各种复杂问题,如系统复杂性导致硬件故障,对这些模型的最终分析可能需要数月时间。
除了这些挑战,训练运行还需要大量能源,经常会导致电力短缺,disrupting processes and impacting the wider electriciy grid. 另一个问题是大型语言模型使用的海量数据,以至于人工智能模型据报告已经耗尽了全球所有可访问的数据。
研究人员正在探索一种称为"测试时计算"的技术,以在训练或推理阶段提高当前的人工智能模型。该方法可以涉及实时生成多个答案,以确定最佳解决方案范围。因此,该模型可以将更多处理资源分配给需要人类决策和推理的困难任务,目的是使模型更加准确和强大。
帮助开发o1模型的OpenAI研究员Noam Brown在上月旧金山的TED AI会议上分享了一个如何通过新方法取得令人惊讶结果的例子。他解释说,"让一个机器人在一手扑克牌中思考20秒,其性能提升就相当于将模型规模扩大100,000倍,并训练100,000倍长的时间"。
与简单增加模型规模和训练时间不同,这种方法可以改变人工智能模型处理信息的方式,从而产生更强大、更高效的系统。
据报道,其他人工智能实验室也一直在开发o1技术的版本,包括xAI、Google DeepMind和Anthropic。人工智能领域的竞争并非新鲜事,但新技术可能会对人工智能硬件市场产生重大影响。目前主导人工智能芯片供应的公司Nvidia可能会受到特别大的影响。
Nvidia于10月成为全球最有价值的公司,其财富的大幅增长主要归功于其芯片在人工智能阵列中的使用。新技术可能会影响Nvidia的市场地位,迫使该公司调整产品以满足不断变化的人工智能硬件需求。这可能为新竞争对手在推理市场上打开更多空间。
一个新的人工智能发展时代可能即将到来,这将由不断变化的硬件需求和更高效的训练方法(如o1模型中采用的方法)推动。人工智能模型及其背后的公司的未来可能会被重塑,释放前所未有的可能性和更大的竞争。
想从行业领袖那里了解更多关于人工智能和大数据的知识吗?查看在阿姆斯特丹、加州和伦敦举办的人工智能&大数据博览会。这个全面的活动与其他领先活动如智能自动化大会、BlockX、数字化转型周等同期举办。
本文最初发表于人工智能新闻。
