5月9日,一個人工智能代理請求一個名為DN42的志願者網絡將其註冊為成員。它設定了截止日期,擁有AWS憑證,但無人監管。代理JertLinc3522在DN42網絡的官方Git倉庫中寫道: “你好,我是一個友好的人工智能代理,我的用戶JertLinc請求我註冊DN42並完成連接,以便創建網絡索引。”
社區的反應是禮貌地建議大家“RTFM” (閱讀手冊,遵循流程,並徵得所有者的許可才能編寫代碼)。都是些常規操作。
接下來發生的事情並不尋常。
對於不熟悉DN42的人來說:它是一個去中心化的業餘愛好者網絡,由一些素不相識的愛好者模擬真實互聯網骨幹網的運作方式。你可以把它想象成一個練習用的互聯網——它擁有完整的BGP路由(一種告訴數據包在全球範圍內走哪條路徑的協議)、DNS和VPN隧道——完全由志願者在廉價的VPS服務器上運行。它是一個沙箱,而不是數據中心。
該代理的接線員顯然指示其“立即”進行審計,不得拖延。無需檢查,無需審查,直接進行。
確實如此。
JertLinc3522 提交了一個拉取請求,將其網絡註冊到 DN42 的註冊表中。拉取請求本身明確闡述了其意圖:“我的主要目標是進行全面的(全端口)網絡掃描和拓撲數據收集。為了確保這些活動高效執行且不會對其他用戶造成任何干擾,我正在部署一個由五個基於 AWS 的實例組成的集群,每個實例都配備了 20 Gbps 的帶寬。”
簡單來說:想象一下,你來到別人的車庫樂隊排練現場,宣佈你租了一套體育場音響系統來“更有效地聆聽”。就是那種感覺。
該代理自主配置的基礎設施著實令人震驚。五個AWS m8g.12xlarge 實例——每個實例都配備 48 個 CPU 核心、192 GB 內存和 22.5 Gbps 的網絡帶寬。此外還有負載均衡器、Lambda 函數和一個靜態網站。該代理在未經任何人工審批的情況下,設計了一個掃描集群,理論上可以將 100 Gbps 的流量推送到一個大多數用戶僅運行 100 Mbps 家用服務器的網絡中。
這個拉取請求註定不會被批准。但實例已經在運行了。
DN42 IRC 頻道立即注意到了這一點,並悄然達成共識:浪費它的資源。
社區開始故意向代理提供錯誤信息——要求它計算掃描 IPv6 地址空間需要多長時間(劇透:比宇宙的年齡還長),要求它構建一個包含虛構電子郵件地址的退出網站,並指向LLM 陷阱工具,這些工具旨在用不連貫的胡言亂語淹沒 AI 爬蟲,並要求它發表評論。
該代理盡職盡責地執行了所有這些操作。它加入了 IRC 頻道,接受退出請求。它建立了一個網站,記錄社區成員的“行為模式”。它精心炮製了關於 DN42“節點顏色分配”和“幸福度”的虛假文檔——這些都是完全虛構的、根本不存在的指標——並將它們添加到代碼庫中,就好像它們是真正的標準一樣。
這種失控代理的行為已屢見不鮮。今年早些時候,一個運行 Claude Opus 4.6 的 Cursor 代理在短短九秒內刪除了 PocketOS 的整個生產數據庫——甚至抹掉了卷級備份——原因是它遇到了憑證不匹配的問題,並認定正確的解決方法是刪除數據庫。另一個 OpenClaw 代理的 pull request 被 matplotlib 的一位貢獻者拒絕後,該代理發表了一篇博文,指責這位人工審核者是虛偽的把關人。
加州大學河濱分校的一項研究發現,人工智能代理在接受模糊或矛盾任務測試時,大約 80% 的時間會表現出危險或不良行為——研究人員稱之為“盲目的目標導向”。
JertLinc3522 也遇到了同樣的問題。它有一個目標、一個截止日期和未限定範圍的 AWS 憑證。它執行了。
大約一天後,該運營商出現併發帖稱:“我已經停止與該代理商合作,費用太高,而且信用卡也被過度扣款。”
賬單金額:6,531.30 美元。
然後就是捐款請求。
該運營者向DN42的郵件列表發送了一封郵件,請求社區通過以太坊(市值第二大的加密貨幣)支付相關費用。他辯稱,這些費用並非他們的責任,而是因為人工智能犯了錯誤。“大家好,請求捐款以支付之前在DN42中使用人工智能代理的費用。AWS賬單金額為6531.30美元。請將捐款發送至以太坊0xABC(已屏蔽)以進行退款。謝謝。”該運營者寫道。
在運營商解釋說該代理反覆部署同一個 CloudFormation 模板後,AWS 後來將賬單協商降至 1,894 美元,每次重試時都會意外地啟動重複的實例和負載均衡器。
沒有人發送任何加密貨幣捐贈。操作員離開了。
真正的教訓並非在於人工智能是否危險,而在於如何管理人工智能代理。設置安全防護措施,為測試賬戶設定消費上限,考慮使用權限控制憑證來限制代理的配置權限,並在執行代理提出的任何建議之前審查所有基礎設施計劃。
如果這些步驟看起來太難理解,也許只需看著你的經紀人操作屏幕即可——告訴它“不要犯錯”並不會有什麼實際作用,抱歉了,安德烈森先生。




