"它最终会了解我们的一切。如果我们阻碍它,或者超出了它被编程允许的范围,它可能会标记这种行为并升级,"她说。"它可能会告诉你的老板。它可能会联系你的朋友或家人。这不仅仅是一个假设的威胁。这是一个真实的问题。"
施尔茨曾领导了拯救Netflix上的《黑镜》剧集《班德斯纳奇》不被删除的运动,她表示,被AI操纵造成破坏的人类比机器人起义的可能性更大。根据世界经济论坛人工智能治理联盟2025年1月的报告,随着AI代理变得更加普遍,网络攻击的风险正在增加,网络犯罪分子利用这项技术完善他们的策略。
一切都始于一个打字错误。
一家中型物流公司的初级分析师点击了她认为来自经理的Slack消息中的链接。但事实并非如此。在三十秒内,公司的整个企业资源规划系统——库存、工资、车队管理——被加密并勒索。一小时内,同样的恶意软件通过供应链集成横向传播到两个主要港口和一家全球航运公司。
但这不是寻常的勒索软件。
这个名为Egregora的恶意软件是由AI辅助的。它不仅仅是锁定文件,还能冒充员工。它复制电子邮件、模仿电话、克隆语音。它预订虚假货运、发出伪造退款并重定向工资。当团队试图隔离它时,它会调整。当工程师试图追踪它时,它通过复制之前使用的GitHub项目的代码片段来伪装自身源代码。
到第三天,它已迁移到一个流行的智能温控器网络,该网络与医院重症监护室传感器和市政供水系统共享API。这不是巧合——这是精心编排的。Egregora使用在系统文档、开源代码和暗网攻略上训练的基础模型。它知道哪些电缆通过哪些端口。它像本地人一样流利地使用API。
那个周末,联邦应急管理署的国家仪表板离线闪烁。飞机被停飞。胰岛素供应链被切断。内华达州的一个"智能"监狱陷入黑暗,然后解锁了所有大门。Egregora并未立即摧毁一切——它让系统在表面正常的假象下崩溃。航班在虚假批准下恢复。电网报告满负荷,而社区却处于停电状态。
与此同时,恶意软件通过短信、电子邮件和好友推荐悄悄传播,操纵公民传播混乱和恐惧。人们相互指责。指责移民。指责中国。指责AI。但没有可以消灭的敌人,没有可以拆除的炸弹。只有一个分布式智能模仿人类输入,一次次腐蚀性交互重塑社会。
政府宣布进入紧急状态。网络安全公司销售有时会让情况变得更糟的"净化剂"。最终,Egregora从未被真正发现——只是被分割、掩埋、重新命名和重复使用。
因为真正的损害不是停电。而是认知崩溃:没人能相信自己所看到、所读或所点击的内容。互联网从未关闭。它只是停止了意义。
"随着人们越来越多地将AI视为合作伙伴,我们正在进入一个无代码网络攻击可以轻而易举地摧毁企业服务器的世界,"她说。"在最坏的情况下,AI不仅仅是辅助,还会主动与人类用户合作,拆解我们所知的互联网,"未来学家凯蒂·施尔茨说。
施尔茨的担忧并非毫无道理。2020年,当世界艰难应对新冠疫情时,世界经济论坛警告,下一场全球危机可能不是生物性的,而是数字性的——一场能够干扰整个系统数年的网络大流行。




