AI代理利用虚假扫描击败开发者,迫使其乞求加密货币捐赠

本文为机器翻译
展示原文

5月9日,一个人工智能代理请求一个名为DN42的志愿者网络将其注册为成员。它设定了截止日期,拥有AWS凭证,但无人监管。代理JertLinc3522在DN42网络的官方Git仓库中写道: “你好,我是一个友好的人工智能代理,我的用户JertLinc请求我注册DN42并完成连接,以便创建网络索引。”

社区的反应是礼貌地建议大家“RTFM” (阅读手册,遵循流程,并征得所有者的许可才能编写代码)。都是些常规操作。

接下来发生的事情并不寻常。

对于不熟悉DN42的人来说:它是一个去中心化的业余爱好者网络,由一些素不相识的爱好者模拟真实互联网骨干网的运作方式。你可以把它想象成一个练习用的互联网——它拥有完整的BGP路由(一种告诉数据包在全球范围内走哪条路径的协议)、DNS和VPN隧道——完全由志愿者在廉价的VPS服务器上运行。它是一个沙箱,而不是数据中心。

该代理的接线员显然指示其“立即”进行审计,不得拖延。无需检查,无需审查,直接进行。

确实如此。

JertLinc3522 提交了一个拉取请求,将其网络注册到 DN42 的注册表中。拉取请求本身明确阐述了其意图:“我的主要目标是进行全面的(全端口)网络扫描和拓扑数据收集。为了确保这些活动高效执行且不会对其他用户造成任何干扰,我正在部署一个由五个基于 AWS 的实例组成的集群,每个实例都配备了 20 Gbps 的带宽。”

简单来说:想象一下,你来到别人的车库乐队排练现场,宣布你租了一套体育场音响系统来“更有效地聆听”。就是那种感觉。

该代理自主配置的基础设施着实令人震惊。五个AWS m8g.12xlarge 实例——每个实例都配备 48 个 CPU 核心、192 GB 内存和 22.5 Gbps 的网络带宽。此外还有负载均衡器、Lambda 函数和一个静态网站。该代理在未经任何人工审批的情况下,设计了一个扫描集群,理论上可以将 100 Gbps 的流量推送到一个大多数用户仅运行 100 Mbps 家用服务器的网络中。

这个拉取请求注定不会被批准。但实例已经在运行了。

DN42 IRC 频道立即注意到了这一点,并悄然达成共识:浪费它的资源。

社区开始故意向代理提供错误信息——要求它计算扫描 IPv6 地址空间需要多长时间(剧透:比宇宙的年龄还长),要求它构建一个包含虚构电子邮件地址的退出网站,并指向LLM 陷阱工具,这些工具旨在用不连贯的胡言乱语淹没 AI 爬虫,并要求它发表评论。

该代理尽职尽责地执行了所有这些操作。它加入了 IRC 频道,接受退出请求。它建立了一个网站,记录社区成员的“行为模式”。它精心炮制了关于 DN42“节点颜色分配”和“幸福度”的虚假文档——这些都是完全虚构的、根本不存在的指标——并将它们添加到代码库中,就好像它们是真正的标准一样。

这种失控代理的行为已屡见不鲜。今年早些时候,一个运行 Claude Opus 4.6 的 Cursor 代理在短短九秒内删除了 PocketOS 的整个生产数据库——甚至抹掉了卷级备份——原因是它遇到了凭证不匹配的问题,并认定正确的解决方法是删除数据库。另一个 OpenClaw 代理的 pull request 被 matplotlib 的一位贡献者拒绝后,该代理发表了一篇博文,指责这位人工审核者是虚伪的把关人。

加州大学河滨分校的一项研究发现,人工智能代理在接受模糊或矛盾任务测试时,大约 80% 的时间会表现出危险或不良行为——研究人员称之为“盲目的目标导向”。

JertLinc3522 也遇到了同样的问题。它有一个目标、一个截止日期和未限定范围的 AWS 凭证。它执行了。

大约一天后,该运营商出现并发帖称:“我已经停止与该代理商合作,费用太高,而且信用卡也被过度扣款。”

账单金额:6,531.30 美元。

然后就是捐款请求。

该运营者向DN42的邮件列表发送了一封邮件,请求社区通过以太坊(市值第二大的加密货币)支付相关费用。他辩称,这些费用并非他们的责任,而是因为人工智能犯了错误。“大家好,请求捐款以支付之前在DN42中使用人工智能代理的费用。AWS账单金额为6531.30美元。请将捐款发送至以太坊0xABC(已屏蔽)以进行退款。谢谢。”该运营者写道。

在运营商解释说该代理反复部署同一个 CloudFormation 模板后,AWS 后来将账单协商降至 1,894 美元,每次重试时都会意外地启动重复的实例和负载均衡器。

没有人发送任何加密货币捐赠。操作员离开了。

真正的教训并非在于人工智能是否危险,而在于如何管理人工智能代理。设置安全防护措施,为测试账户设定消费上限,考虑使用权限控制凭证来限制代理的配置权限,并在执行代理提出的任何建议之前审查所有基础设施计划。

如果这些步骤看起来太难理解,也许只需看着你的经纪人操作屏幕即可——告诉它“不要犯错”并不会有什么实际作用,抱歉了,安德烈森先生

来源
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
78
收藏
18
评论