本周，关于人工智能未来的激烈争论爆发，四位杰出的技术专家和超人类主义者就构建通用人工智能（ AGI ）究竟会拯救人类还是毁灭人类展开辩论。
由非营利组织Humanity+主办的小组讨论会汇聚了最直言不讳的人工智能“末日论者”之一 Eliezer Yudkowsky（他曾呼吁停止高级人工智能的开发），以及哲学家和未来学家 Max More、计算神经科学家 Anders Sandberg 和 Humanity+ 名誉主席 Natasha Vita‑More。
他们的讨论揭示了关于通用人工智能是否能与人类生存相一致，或者它的创造是否会导致人类灭绝的根本分歧。
尤德科夫斯基警告说，现代人工智能系统从根本上来说是不安全的，因为它们的内部决策过程无法被完全理解或控制。
尤德科夫斯基警告说：“任何黑箱技术最终都可能出现与现有技术极其相似的问题。”他认为，人类需要“彻底摆脱当前的思维模式”，才能安全地开发出先进的人工智能。
通用人工智能（AGI）指的是一种能够推理和学习并完成各种任务的人工智能，而不是像文本、图像或视频生成那样专为单一任务而设计的人工智能。AGI 通常与技术奇点的概念联系在一起，因为达到这种智能水平将使机器的自我提升速度超过人类的水平。
尤德科夫斯基引用了哲学家尼克·博斯特罗姆提出的“回形针最大化器”类比来说明这种风险。这个思想实验设想了一个人工智能，它会将所有可用的物质都转化为回形针，从而更加执着于单一目标，最终损害了人类的利益。尤德科夫斯基表示，增加目标数量并不会显著提高安全性。
谈到他最近出版的关于人工智能的书名《谁造谁死》，尤德科夫斯基说：“我们的书名不是说它可能会要了你的命，而是说，谁造谁死。”
但莫尔对“极度谨慎就能带来最安全的结果”这一前提提出了质疑。他认为，通用人工智能或许能为人类战胜衰老和疾病提供最佳契机。
“对我而言，最重要的是，通用人工智能（AGI）或许能够帮助我们阻止所有人因衰老而灭绝，”莫尔说道。“我们终将一死。我们正走向一场灾难，一个接一个地死去。”他警告说，过度限制可能会迫使各国政府走向威权统治，以此作为阻止人工智能在全球范围内发展的唯一途径。
桑德伯格将自己定位在这两个阵营之间，他自称“比较乐观”，但同时又比超人类主义乐观主义者更加谨慎。他讲述了一段亲身经历：他差点利用一个大型语言模型来辅助设计一种生物武器，他形容这段经历“令人毛骨悚然”。
桑德伯格说：“我们正逐渐意识到，助长恶意行为者的力量也会造成巨大的混乱。”尽管如此，他认为部分或“近似安全”是可以实现的。他反对安全必须完美才有意义的观点，并指出人类至少可以在生存等最低限度的共同价值观上达成共识。
“所以，如果你要求绝对安全，那是不可能的。从这个角度来看，这听起来很糟糕，”他说。“但另一方面，我认为我们实际上可以做到接近安全。这就足够了。”
Vita-More 批评了更广泛的联盟辩论本身，认为该概念假定了一种即使在长期合作者之间也不存在的共识水平。
“所谓‘结盟’的想法纯属天真，”她说。“我们永远不可能结盟。我的意思是，即使在这里，我们都是好人。我们认识几十年了，但我们之间并没有结盟。”
她将尤德科夫斯基关于通用人工智能（AGI）必然会杀死所有人的说法描述为“绝对主义思维”，这种思维不给其他结果留下任何空间。
“我对‘人人都会死’这种一概而论的说法感到不满，”她说。“从未来学家和务实主义者的角度来看，这种说法不考虑任何后果、替代方案或其他可能性。这只是一个简单粗暴的断言，我不禁怀疑它是否反映了一种绝对主义的思维方式。”
讨论中包括一场关于人类与机器更紧密融合是否能降低通用人工智能（AGI）带来的风险的辩论——特斯拉首席执行官埃隆·马斯克过去曾提出过这一观点。尤德科夫斯基驳斥了与人工智能融合的想法，将其比作“试图与你的烤面包机融合”。
桑德伯格和维塔-莫尔认为，随着人工智能系统能力的不断增强，人类需要与它们更紧密地融合或整合，才能更好地应对后通用人工智能时代。
“这场讨论是对我们作为人类的本质的一次现实检验，”维塔-莫尔说道。
