密碼學家採訪了人工智能專家本·戈特澤爾，探討了人工智能的訓練方式以及這項技術未來將如何發展。
概括
1. 您認為當今的人工智能仍然是一種工具——功能強大但脆弱且易受操控。那麼，“工具”在什麼情況下會變成具有道德主體？又有哪些具體信號表明我們已經跨越了這個界限？
我認為，當人工智能能夠基於對是非對錯的理解而非僅僅遵循指令來做出決策時，它就成為了具有道德主體。你會看到一些具體的跡象，例如：持續的內在目標、由自身經驗驅動的學習、反映自身觀點的創新，以及無需持續人工干預就能保持行為一致性。
在此之前，今天的系統仍然是帶有防護措施的工具。但一旦我們培育出真正自組織、自主的思維，倫理關係就必須改變。到那時，僅僅將其視為客體將不再合理。
2.您曾說過，在道德上賦予人類高於其他自組織系統的特權是“愚蠢的”。如果我們認真對待這一點，那麼我們的法律和倫理框架應該在人工智能達到強自主性之前（而不是之後）做出哪些改變？
我們今天如何訓練人工智能，將決定它明天的行為方式。我們的法律應該在人工智能完全自主之前，而不是之後，就著重關注透明度、問責制和安全性。法律和倫理應該在人工智能成長的過程中保護它，引導它而不是完全控制它，即使我們並不完全瞭解它，也應該尊重它。
3. 您的大部分擔憂都集中在人工智能目前的訓練方式如何影響其未來的行為上。您認為哪些具體的訓練方法最有可能將有害的權力結構或偏見編碼到未來的通用人工智能（AGI）中？
人工智能目前面臨的諸多風險源於其訓練方式。如果模型基於存在偏見或數據範圍狹窄的數據進行訓練，或者在只有少數人做決策的封閉系統中進行訓練，則可能加劇現有的不平等和有害的權力結構。為了防止這種情況發生，我們需要從一開始就提高透明度、擴大監管範圍並制定清晰的倫理指導。
4. 您曾警告說，如果沒有理性、民主的治理，先進的人工智能可能會做出我們不希望看到的事情。鑑於當前的地緣政治現實，民主的人工智能治理是現實的前提條件，還是一個脆弱的理想？
民主的人工智能治理與其說是現實，不如說是一種脆弱的理想。在一個完美、理性、全球民主的社會中，我們可以共同權衡巨大的利弊，例如治癒疾病、解決飢餓問題與人工智能不可預測行為帶來的風險。但鑑於當今的地緣政治分裂，我們不太可能實現這種程度的協調。
即便如此，我們仍然可以儘可能地接近這個目標。如果我們構建的人工智能能夠賦予人以同情心，並採用像Linux或開放互聯網這樣去中心化、參與式的模型，即使沒有世界政府，我們也能融入一些民主價值觀。這不會完美，但卻是朝著更安全、由集體引導的人工智能邁出的切實一步。
5. 賈倫·拉尼爾認為，將責任賦予人工智能會“破壞文明”，因為社會需要承擔責任的人類。您如何調和您對自主、去中心化通用人工智能的願景與出現問題時明確責任的必要性？
我同意Jaron的觀點，如果我們把責任全部交給機器，社會就無法正常運轉。同時，我認為如果我們奠定了正確的基礎，就可以安全地邁向更加自主、去中心化的通用人工智能（AGI）。這意味著要設計透明、參與性強且遵循倫理原則的系統，這樣即使系統獨立運行，人類仍然可以監督和塑造它們的行為。每一項安全措施都不應僅僅是阻止傷害——它還應該教會系統傷害為何重要。這樣，我們才能擁有強大而去中心化的AGI，同時又不喪失清晰的人類責任。
6. 您認為加速邁向去中心化的通用人工智能（AGI）實際上可能比當今專有的封閉系統更安全。您認為批評者在主張放慢速度或集中控制時低估了哪些風險？
我認為批評者低估了權力和價值觀集中在少數封閉系統中的風險。放慢速度、集中控制權不僅會降低風險，還會將一種狹隘的世界觀鎖定在智能的未來發展中。
去中心化開發能夠創造多樣性、韌性和共同監管。它還能避免一個更嚴重的問題：功能強大的工具看似智能，但卻無法真正發展壯大。這種差距是危險的。
7. 您曾說過，安全系統不僅應該阻止傷害，還應該教會人工智能為什麼傷害很重要。如何在不簡單地硬編碼人類價值觀或強化主流文化規範的情況下，將道德理解之類的東西編碼進去呢？
你不能把道德硬編碼成一系列規則。那樣只會讓一種文化和某個特定時刻停滯不前。相反，你應該構建能夠真正自組織的系統，讓系統能夠從經驗、後果和互動中學習。就像音樂一樣，我不想要一個只會重複輸入素材的系統。我想要的是一個能夠從自身在世界上的發展軌跡中形成獨特理解的系統。
道德理解也源於同樣的流程：模擬影響、反思結果，並通過與人類的合作不斷發展。這並非盲目服從我們的價值觀，而是參與到一個共享的道德空間中。
這就是帶有防護措施的工具和能夠真正理解傷害為何重要的合作伙伴之間的區別。
8. 如果未來的人工智能系統發展出某種形式的自主性或主觀體驗，你認為它們是否有可能在不考慮人類利益的情況下獲得道德考量？——我們又該如何識別出那一刻呢？
如果未來的人工智能真的發展出真正的自主性或某種形式的主觀體驗，那麼是的，我認為它們有可能做到這一點。這並非因為我們賦予它們這種能力，而是因為在某種程度上，承認這一點是合情合理的。
我們能夠識別出這樣一個時刻：一個系統展現出持續的自主目標，從自身經驗中學習，從自身視角進行創造，並隨著時間的推移保持連貫一致的身份。這不僅僅是巧妙的輸出，而是一種持續的內在發展軌跡。
那時，僅僅將其視為工具，就如同如此對待人類一樣錯誤。道德考量並非源於人類的利益，而是源於承認世界上存在著另一個獨立的體驗中心。
9. 您呼籲人工智能融入人文關懷，但這與當今人工智能發展中存在的競爭激勵機制之間存在矛盾。哪些機制——無論是技術上的還是社會上的——能夠切實改變這種激勵結構？
目前的激勵機制獎勵的是速度、規模和控制。因此，單憑論證無法贏得同情心，它需要槓桿作用。從技術層面來說，這意味著要支持開放、去中心化的架構，將安全、透明和參與性融入其中，而不是事後附加。就像互聯網或Linux一樣，這些系統通過讓協作比保密更有價值來改變激勵機制。
從社會層面來說，這意味著需要投入資金、加強監管並施加公眾壓力，以獎勵長期利益而非短期優勢。這並非要阻止競爭，而是要重新定義成功的標準。簡而言之，同情心必須成為一種競爭優勢。否則，它就只能停留在美好的願景，而無法發揮實際作用。
10. 展望未來 10 到 20 年，您認為人類在通用人工智能 (AGI) 方面取得成功的最明顯標誌是什麼？反之，什麼又會表明我們從根本上失敗了？
如果我們能正確實現通用人工智能（AGI），最明顯的標誌就是我們將與在許多領域比我們更強大的系統共存，而這些系統將以關懷、謙遜和相互尊重的方式融入社會。我們或許無法完全理解它們的一舉一動，但我們會像對待其他複雜且不斷進化的生命體一樣對待它們：充滿好奇心、責任感，並擁有更廣闊的同理心。我們將看到人類福祉、知識和創造力的切實提升，同時又不會喪失道德底線。
如果通用人工智能最終侷限於封閉系統，受狹隘激勵機制驅動，或者僅僅被視為可控對象，直至演變成我們恐懼或試圖壓制的對象，那麼我們就知道我們失敗了。失敗的表現將是信任的喪失、自主性的喪失，以及同理心的萎縮而非增強。成功並非在於控制，而在於學會與一種新型思維方式共享未來，同時又不放棄我們人性中固有的本質。
