本週，關於人工智能未來的激烈爭論爆發，四位傑出的技術專家和超人類主義者就構建通用人工智能（ AGI ）究竟會拯救人類還是毀滅人類展開辯論。
由非營利組織Humanity+主辦的小組討論會匯聚了最直言不諱的人工智能“末日論者”之一 Eliezer Yudkowsky（他曾呼籲停止高級人工智能的開發），以及哲學家和未來學家 Max More、計算神經科學家 Anders Sandberg 和 Humanity+ 名譽主席 Natasha Vita‑More。
他們的討論揭示了關於通用人工智能是否能與人類生存相一致，或者它的創造是否會導致人類滅絕的根本分歧。
尤德科夫斯基警告說，現代人工智能系統從根本上來說是不安全的，因為它們的內部決策過程無法被完全理解或控制。
尤德科夫斯基警告說：“任何黑箱技術最終都可能出現與現有技術極其相似的問題。”他認為，人類需要“徹底擺脫當前的思維模式”，才能安全地開發出先進的人工智能。
通用人工智能（AGI）指的是一種能夠推理和學習並完成各種任務的人工智能，而不是像文本、圖像或視頻生成那樣專為單一任務而設計的人工智能。AGI 通常與技術奇點的概念聯繫在一起，因為達到這種智能水平將使機器的自我提升速度超過人類的水平。
尤德科夫斯基引用了哲學家尼克·博斯特羅姆提出的“回形針最大化器”類比來說明這種風險。這個思想實驗設想了一個人工智能，它會將所有可用的物質都轉化為回形針，從而更加執著於單一目標，最終損害了人類的利益。尤德科夫斯基表示，增加目標數量並不會顯著提高安全性。
談到他最近出版的關於人工智能的書名《誰造誰死》，尤德科夫斯基說：“我們的書名不是說它可能會要了你的命，而是說，誰造誰死。”
但莫爾對“極度謹慎就能帶來最安全的結果”這一前提提出了質疑。他認為，通用人工智能或許能為人類戰勝衰老和疾病提供最佳契機。
“對我而言，最重要的是，通用人工智能（AGI）或許能夠幫助我們阻止所有人因衰老而滅絕，”莫爾說道。“我們終將一死。我們正走向一場災難，一個接一個地死去。”他警告說，過度限制可能會迫使各國政府走向威權統治，以此作為阻止人工智能在全球範圍內發展的唯一途徑。
桑德伯格將自己定位在這兩個陣營之間，他自稱“比較樂觀”，但同時又比超人類主義樂觀主義者更加謹慎。他講述了一段親身經歷：他差點利用一個大型語言模型來輔助設計一種生物武器，他形容這段經歷“令人毛骨悚然”。
桑德伯格說：“我們正逐漸意識到，助長惡意行為者的力量也會造成巨大的混亂。”儘管如此，他認為部分或“近似安全”是可以實現的。他反對安全必須完美才有意義的觀點，並指出人類至少可以在生存等最低限度的共同價值觀上達成共識。
“所以，如果你要求絕對安全，那是不可能的。從這個角度來看，這聽起來很糟糕，”他說。“但另一方面，我認為我們實際上可以做到接近安全。這就足夠了。”
Vita-More 批評了更廣泛的聯盟辯論本身，認為該概念假定了一種即使在長期合作者之間也不存在的共識水平。
“所謂‘結盟’的想法純屬天真，”她說。“我們永遠不可能結盟。我的意思是，即使在這裡，我們都是好人。我們認識幾十年了，但我們之間並沒有結盟。”
她將尤德科夫斯基關於通用人工智能（AGI）必然會殺死所有人的說法描述為“絕對主義思維”，這種思維不給其他結果留下任何空間。
“我對‘人人都會死’這種一概而論的說法感到不滿，”她說。“從未來學家和務實主義者的角度來看，這種說法不考慮任何後果、替代方案或其他可能性。這只是一個簡單粗暴的斷言，我不禁懷疑它是否反映了一種絕對主義的思維方式。”
討論中包括一場關於人類與機器更緊密融合是否能降低通用人工智能（AGI）帶來的風險的辯論——特斯拉首席執行官埃隆·馬斯克過去曾提出過這一觀點。尤德科夫斯基駁斥了與人工智能融合的想法，將其比作“試圖與你的烤麵包機融合”。
桑德伯格和維塔-莫爾認為，隨著人工智能系統能力的不斷增強，人類需要與它們更緊密地融合或整合，才能更好地應對後通用人工智能時代。
“這場討論是對我們作為人類的本質的一次現實檢驗，”維塔-莫爾說道。
