随著人工智慧自主研究取得可衡量的成果，并引发关于自主系统的问题，各实验室正在重新思考人工智慧研究工作流程。
最近几周，安德烈·卡帕西 (Andrej Karpathy) 的一项病毒式实验，使人工智慧自动研究从一个利基概念变成了人工智慧研究界的热门话题。
卡帕西的自我研究概念的起源
本月初，著名人工智慧研究员、 OpenAI的创始员工之一Andrej Karpathy在 X 上分享了一个引人注目的实验。他后来担任特斯拉的人工智慧主管，现在独立运作Eureka Labs ，这是一个为人工智慧时代打造新型学校的计划。
卡帕西在X平台上拥有190万粉丝，影响力巨大，几乎任何关于人工智慧的评论都能迅速传播。然而，他最新的这篇文章却格外引人注目，因为它展示了他建立的用于自动化研究的实用系统，他将其命名为「自动研究」（autoresearch） 。这理念迅速激发了实践者和理论家的想像。
在实验中，Karpathy部署了一个AI编码代理来运行一系列旨在改进小型语言模型训练的测试。在连续两天的时间里，该代理执行了700次实验，系统地探索训练配置以找到更优的设定。
在这些实验中，该智能体发现了20 种能够提高训练效率的最佳化方法。此外，当 Karpathy 将这 20 种最佳化方法应用到一个规模更大（尽管仍然相对较小）的语言模型时，他记录到训练速度提高了 11% 。这一切实的提升凸显了他方法的实际应用潜力。
从实验室演示到潜在的新研究范式
Karpathy 将该框架描述为一个用于程式码和模型优化的通用研究引擎。至关重要的是，他强调，自动研究代理并非调整自身，而是调整另一个规模较小的 AI 模型的训练程式码和初始神经网路参数。这种区别对于安全讨论至关重要，即便它对研究工作流程的影响深远。
他认为，这类工具可以重塑顶尖实验室进行人工智慧研究的方式。 「所有LLM前沿实验室都会这样做。这是最终的决战，」卡帕西在X上写道。然而，他也承认，将这个理念从一个630行的Python专案扩展到规模大几个数量级的前沿模型程式码库，会带来巨大的复杂性。
卡帕西仍然将挑战定义为工程问题，而非概念上的障碍。他认为，实验室将启动大量智能体，让它们协作调整小型模型，然后逐步将最有前景的想法推广到更大规模。他建议，人类可以「选择性地」在边缘地带提供帮助，进行指导和评估，而不是手动编写每一个修改的程式码。
目前，他的实作方案专注於单一智能体沿著一条路径迭代改进程式码库。但未来，他期望多个人工智慧智能体能够并行探索不同的假设和实验。他写道，自主研究的下一步是发展成为一个非同步、大规模的智能体协作环境，旨在模拟研究社群，而非单一博士生。
行业反应和 Shopify 测试
当Shopify联合创办人兼执行长Tobias Lütke决定用公司数据测试这套系统时，实验很快就超越了理论阶段。 Lütke 在 X 杂志上透露，他利用这套系统优化了一个内部 AI 模型，指示该智能体同时提升品质和速度。这使得该概念在企业应用上变得切实可行。
据吕特克称，该程式运行一夜后进行了37次实验，性能提升了19% 。尽管如此，他并未公布完整的技术细节，但这一结果足以令人振奋，并引发人们对其商业影响的进一步猜测。
Karpathy后来指出，任何评估效率合理的指标都可以成为这种智慧体群的目标。此外，他还指出，如果某个指标有更经济的替代方法，例如训练一个较小的网路而不是一个大型网络，那么它仍然可以被纳入考虑范围。他敦促技术人员思考他们自身的最佳化问题是否也属于这种情况。
与自我提升人工智慧的梦想和恐惧相关的联系
真正引起公众关注的是，它与人们长期以来讨论的「自我改进型人工智慧」的概念极为相似。科幻小说经常描绘能够重写自身程式码的系统，有些现代研究人员渴望拥有这种能力，而有些人则对此感到担忧。递归式自我改进的概念在人工智慧安全领域尤其具有影响力。
在这些讨论中，一个关键的担忧是人工智慧可能会不断循环优化自身的架构和训练资料。经过多次循环，这可能会引发一些安全研究人员所说的「硬起飞」或「智慧爆炸」。在这种情况下，人工智慧可能会迅速超越人类的认知能力，使得维持有效的控制变得困难甚至不可能。
然而，Karpathy 的方案与那种理想化或令人担忧的景象并不完全相符。他使用的智能体并没有修改自身的训练流程或改变其内部结构，而是重写了另一个更简单模型的训练程式码和神经网路设定。这种分离使得目前系统仍遵循著更传统的最佳化范式，尽管其发展方向已然清晰。
尽管如此，许多观察家将这项工作解读为实验室最终如何建构更自主系统的雏形。此外，透过使基于智慧体的实验看起来既易于操作又行之有效，该专案有望加速类似架构的普及，包括更高级的智慧体系统最佳化循环。
Karpathy循环和广义代理模式
一些分析师指出，该专案背后的核心模式可以抽象化并重复使用。 Janakiram & Associates的首席分析师Janakiram MSV在科技媒体The New Stack上撰文称，Karpathy 实际上定义了一个可重复使用的循环。他将其命名为“Karpathy 循环” ，并建议将其作为更广泛的代理系统的模板。
根据 Janakiram 的说法，该循环包含三个基本要素。首先，智能体必须能够存取并自由修改一个档案。其次，它需要一个客观可测试的指标来进行最佳化。第三，每次实验必须有固定的时间限制，从而约束智能体在报告结果之前执行给定试验的时间长度。
他还强调，Karpathy 嵌入在其设定档中的指令为如何与任何 AI 智能体互动提供了一个强而有力的模型。这个纯文字档案详细规定了智能体应该做什么、应用了哪些约束、哪些内容不能触碰以及停止条件。此外，它还精确定义了每个循环的运行时间以及智能体何时必须停止并总结结果。
评论人士认为，这种精准的指令设计方式正成为一项至关重要的技能。尽管底层模型功能日益强大，但有效的控制仍然依赖人类编写清晰、结构化的指令，使智能体的自主性与具体的目标和界限保持一致。
自动研究与现有 AutoML 方法的比较
并非所有人都认为卡帕西的研究是一项突破。一些批评者指出，他实际上只是重新发现了AutoML的部分元件，而 AutoML 是一套Google 、微软和其他人工智慧实验室多年来一直在使用的技术。 AutoML 框架也会执行迭代实验，以寻找更优的资料、架构和超参数。
传统的 AutoML 系统严重依赖自动化优化循环和搜寻策略。它们探索模型架构、调整超参数，有时也会使用随机变化或演化演算法来选择训练资料。然而，它们通常不包含能够阅读研究论文、设计新假设并根据论文内容编写任意程式码的 AI 代理程式。
卡帕西反驳了那些淡化差异的比较。他指出，诸如神经架构搜寻之类的方法，正是作为一种自动化模型设计方式而出现的。在他看来，与能够推理代码、从过往试验中学习并从互联网获取资讯的智能体相比，这种技术的早期形式显得较为薄弱。
他将传统的神经架构搜寻描述为「一种弱化版的搜寻方法，相较之下完全无用」。此外，他还强调，他的系统使用大型语言模型来编写任意程式码、解读先前实验的结果并动态调整策略，使其比传统的自动机器学习神经架构搜寻流程灵活得多。
展望智能体集群及其更广泛的影响
随著关注度的提升，一些研究人员正在探索如何将 Karpathy 的自动研究实验概念扩展到完整的智慧体群集。他们的愿景是建立一个由专业智能体组成的网络，这些智能体能够划分任务、交叉验证结果并提出新的方法，而人类则负责设定高层目标和规则。这有望彻底改变学术界和工业界的 AI 工作流程。
然而，智能体集群规模的扩大引发了关于安全性、可靠性和治理的许多问题。一些关注递归式自我改善风险的观察家警告说，随著这些系统获得更大的自主权和对关键基础设施的影响力，严密的监管至关重要。在每个升级阶段，都必须维持稳健的评估指标和人工审核。
目前，Karpathy 的专案仍然相对局限，仅展示了语言模型如何在规模较小的程式码库上进行自主研究代理实验。然而，像 Lütke 这样的业内人士以及分析师的反应表明，这种潜在模式可能会迅速蔓延，模糊人类研究人员和自主代理群体之间的界限。
总而言之，Karpathy 的自主研究工作表明，单一配置良好的智能体可以在几天内（而非几个月）发现可衡量的效能提升。此外，随著实验室将这些技术应用于更大规模的模型和多智能体集群，它们可能会释放出强大的新功能，同时也可能加剧关于自主性、控制以及人工智慧研究未来方向的长期争论。
