著名iPhone和索尼黑客称人工智能编码代理是一场即将发生的灾难

本文为机器翻译
展示原文

乔治·霍茨(George Hotz)——这位17岁时就破解了iPhone,并在索尼起诉他之前对PlayStation 3进行了逆向工程的黑客——周日发表了一篇博客文章,认为大规模采用人工智能编码代理将以灾难告终,或者至少接近灾难。

霍茨写道:“我现在就断言,将人工智能代理应用于软件开发将是该领域历史上代价最惨重的错误之一。代理无法编程,而人们却花了越来越长时间才意识到这一点。”

“输出结果存在问题,但这种问题越来越难以察觉。这正是我们对一个日益精确的统计模型所预期的。”

这篇题为《 永恒的九月》(The Eternal Sloptember )的文章发表于安德烈·卡帕西(Andrej Karpathy )加入Anthropic公司预训练团队五天后。卡帕西是人工智能领域最杰出的研究员之一,他明确表示人工智能代理已经彻底改变了软件开发。如今,这两位代表了业界尚未定论的争论的两端——而且他们都拥有充分的信誉来表明自己的立场。

霍茨并非旁观者,而是花了六个月时间在实际项目中运用智能体:包括他开发的开源深度学习框架Tinygrad的部分组件,以及对 USB-PCIe 芯片的完整固件逆向工程。“智能体会预先完成所有工作,”他写道,然后递给你一个他称之为“老虎机拉杆”的东西——你拉动它,然后祈祷剩下的工作能够顺利完成。

它始终无法完全实现。

霍茨预料到了必然的反对意见:程序员将自己的技艺视为身份认同的一部分,自然会抵制那些可能取代自己的工具。他认真对待这种反对意见,并从根本上驳斥了它。

“我更多地想到了维护自我价值感这件事。谷歌的人工智能实验室(AFL)发现的漏洞比人工智能实验室(LLM)还多,但没人对此感到不满。国际象棋和围棋比以往任何时候都更受欢迎,”霍茨写道。从某种意义上说,他的观点是正确的,国际象棋人工智能已经统治人类几十年了,而且这项运动也变得越来越受欢迎。

所以,他担心的不是被取代,而是当所有人都同时使用这些工具时,代码质量会发生什么变化,尤其是在大型科技公司和华尔街不断推动这些工具大规模使用的情况下。

霍茨辩称:“我几乎觉得这是一种推销代理商的心理战。对损失的恐惧是促使大公司采取行动的少数几种方法之一。但我认为,正是这种恐惧让他们犯了一个大错。”

他的核心论点在于组织结构。高绩效团队拥有足够紧密的反馈机制,能够在智能体生成问题之前就发现并解决它们。他们会阅读代码,发现错误,并判断何时应该信任这个工具。“低绩效团队则缺乏这种自我检查机制,”他写道——而正是这些团队利用智能体实现了比以往高出十倍的产出。在大公司里,这种现象会导致一个具体的结果:代码质量平均水平的快速下降,而这种下降却被庞大的代码量所掩盖。

他认为,最终结果将是“大量劣质产品泛滥成灾,而优质产品则黯然失色”。他举例说,有报道称苹果公司正在其整个工程团队中推广人工智能编码工具,然后他简单地问道:“你认为未来两年macOS会变得更好还是更糟?”

霍茨现在将自己归入他所谓的“勒昆/马库斯阵营”——这里指的是Meta公司的首席人工智能科学家扬·勒昆(Yann LeCun)和长期以来对语言模型持怀疑态度的加里·马库斯(Gary Marcus)。他们都认为,语言模型本质上是复杂的模式匹配器:它们可以模仿现有代码的分布,但无法从根本上解决真正的新问题。

Vibe 编码——即用简洁的语言描述需求,然后让 AI 生成实现方案——在过去一年中发展迅猛,各大人工智能实验室已将基于代理的编码定位为旗舰产品。微软计划在 2025 年将 GitHub Copilot 转型为一个完整的代理系统,其 CEO 萨蒂亚·纳德拉将其描述为平台层面的变革,堪比向云计算的迁移。

对霍茨观点的反驳并非空穴来风。卡帕西在2025年初还对经纪人持怀疑态度,但在新模式发布后改变了看法,并于5月19日加入了Anthropic的预备培训团队——比霍茨发表文章早五天。他将接下来几年在前沿领域的工作描述为“意义非凡的成长经历”。

Anthropic 首席执行官 Dario Amodei 在达沃斯表示,一些 Anthropic 的工程师已经停止编写代码,而是让模型自动处理,自己则负责审核输出结果。Hotz 则表示,他也尝试过这样做,但发现自己每次都不得不手动修改。

相关赛道:
来源
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
79
收藏
19
评论