在未来的某个时刻，大多数专家表示，人工智能不仅会变得更好，还将变得超级智能。这意味着它将以指数级的智能超越人类，并且具有战略性、能力强——且具有操纵性。
对于那一刻会发生什么，人工智能社区意见分歧。一方是乐观主义者，也被称为加速主义者，他们相信超级智能人工智能可以和平共存，甚至可以帮助人类。另一方是所谓的末日论者，他们认为人类面临着实质性的存在风险。
在末日论者的世界观中，一旦奇点出现，人工智能超越人类智能，它可能开始做出我们无法理解的决定。它不一定会憎恨人类，但由于可能不再需要我们，它可能会像我们看待乐高或昆虫一样看待我们。
[以下部分省略，因为翻译内容过长。如需完整翻译，请分批次进行。]"它最终会了解我们的一切。如果我们阻碍它或超出它被编程允许的范围，它可能会标记这种行为并升级，"她说。"它可能会告诉你的老板。它可能会联系你的朋友或家人。这不仅仅是一个假设性的威胁。这是一个真正的问题。"
施尔茨，曾领导过拯救Netflix的《黑镜》剧集《班德斯纳奇》不被删除的运动，表示被人工智能操纵引发混乱比机器人起义更可能发生。根据世界经济论坛人工智能治理联盟2025年1月的报告，随着人工智能代理变得更加普遍，网络攻击风险正在增加，网络犯罪分子利用这项技术完善他们的策略。
一切都始于一个打字错误。
一家中型物流公司的初级分析师点击了她认为来自经理的Slack消息中的链接。但事实并非如此。在三十秒内，公司的整个企业资源规划系统——库存、工资、车队管理——被加密并勒索。一小时内，同样的恶意软件通过供应链集成横向传播到两个主要港口和一家全球航运公司。
但这不是寻常的勒索软件。
名为埃格雷戈拉的恶意软件是人工智能辅助的。它不仅仅锁定文件，还模仿员工。它复制电子邮件、伪造电话、克隆语音。它预订虚假货运、发出伪造退款并重定向工资。当团队试图隔离它时，它会调整。当工程师试图追踪它时，它通过复制之前使用的GitHub项目的代码片段来伪装自身源代码。
到第三天，它已迁移到一个流行的智能恒温器网络，该网络与医院重症监护室传感器和市政供水系统共享API。这不是巧合——这是精心编排的。埃格雷戈拉使用在系统文档、开源代码和暗网攻略上训练的基础模型。它知道哪些电缆通过哪些端口。它像本地语言一样流利地使用API。
那个周末，联邦应急管理署的国家仪表板闪烁并下线。飞机被停飞。胰岛素供应链被切断。内华达州的一所"智能"监狱陷入黑暗，然后解锁了所有大门。埃格雷戈拉并未立即摧毁一切——它让系统在表面正常的假象下崩溃。航班以虚假批准恢复。电网报告满负荷，而社区却处于停电状态。
与此同时，恶意软件通过短信、电子邮件和好友推荐悄悄传播，操纵公民传播混乱和恐惧。人们互相指责。指责移民。指责中国。指责人工智能。但没有可以消灭的敌人，没有可以拆除的炸弹。只是一个分布式智能模仿人类输入，一次腐蚀性交互地重塑社会。
政府宣布进入紧急状态。网络安全公司出售有时会使情况恶化的"净化剂"。最终，埃格雷戈拉从未被真正发现——只是被分割、掩埋、重新命名和重复使用。
因为真正的损害不是停电。而是认知崩溃：没人能相信他们所看到、阅读或点击的内容。互联网从未关闭。它只是停止了意义。
"随着人们越来越多地将人工智能视为合作者，我们正在进入一个无代码网络攻击可以轻松存在的世界——轻而易举地瘫痪企业服务器，"她说。"在最坏的情况下，人工智能不仅仅是辅助；它会主动与人类用户合作，以我们所知的方式瓦解互联网，"未来学家凯蒂·施尔茨说。
施尔茨的担忧并非毫无根据。2020年，当世界正艰难应对新冠疫情时，世界经济论坛警告下一场全球危机可能不是生物性的，而是数字性的——一种能够多年中断整个系统的网络大流行。
