Thompson： 歡迎來到《AI 中最有意思的那件事》。感謝你在這樣忙碌而緊張的一週中抽出時間。我想從我們之前聊過幾次的話題開始。
三年前你接受 Patrick Collison 採訪時，他問你，有什麼變化能讓你對好結果更有信心、對壞結果少些擔憂？你當時的回答是，如果我們能真正理解神經元層面正在發生什麼。一年前我問過你同樣的問題，半年前我們也聊過。所以我現在再問一次，我們對 AI 工作機制的理解，與 AI 能力增長的速度一樣嗎？
Altman： 我先回答這個問題，然後再回到 Patrick 當年那個問題，因為我對那個問題的答案，已經發生了相當大的變化。
先說我們對 AI 模型在做什麼的理解。我覺得我們仍然沒有一個真正完善的機制可解釋性框架。情況比以前好了一些，但沒有人會說，我完全理解這些神經網絡裡發生的每一件事。
思維鏈（chain of thought）的可解釋性，對我們而言一直是個相當有前景的方向。它很脆弱，依賴於一系列東西不在各種潛在的優化壓力下崩塌。但話說回來，我也沒法用 X 光機掃描自己的大腦，去精確理解每一個神經元放電、連接時發生了什麼。如果你讓我解釋為什麼我相信某件事、我怎麼得出某個結論，我可以給你講。也許那真的是我思考的方式，也許不是，我不知道。人對自己內省也是會失敗的。但無論它是不是真的，你可以看那個推理過程，然後說，好，給定這些步驟，這個結論是合理的。
我們現在能對模型做這件事，確實像是一個挺有希望的進展。但我仍然能想到各種可能出錯的方式，模型欺騙我們、對我們隱瞞一些東西，等等。所以這遠遠不算一個完整的解決方案。
不過即便是我自己使用模型的體驗，我本來是那種堅決不會讓 Codex 完全接管我電腦、運行所謂「YOLO 模式」的人。結果我撐了幾個小時就破功了。
Thompson： 讓 Codex 接管你整臺電腦？
Altman： 說實話，我有兩臺電腦。
Thompson： 我也有兩臺。
Altman： 我能大致看到模型在做什麼，模型也能向我解釋為什麼這樣做沒問題，以及它接下來要做什麼，而我相信它幾乎總會照那個說法去執行。
Thompson： 等一下。思維鏈讓所有人能看到，你輸入一個問題，它會顯示「正在查閱這個、正在做那個」，你可以跟著看下去。但思維鏈要成為一個可解釋性的好方法，它必須是真實的，模型不能在騙你。而我們知道，模型有時候確實會欺騙你，會對自己在想什麼、是怎麼得出答案的撒謊。所以你怎麼去信任思維鏈？
Altman： 你需要在防禦鏈條上加上很多其他環節，來確保模型說的就是真實情況。我們的對齊團隊在這方面下了很多功夫。我前面也說了，這不是完整的解決方案，它只是其中一環。你還需要去驗證模型確實是個忠實的執行者，它說要做什麼，它就真的在做什麼。我們已經發布了不少研究，揭示了模型並未照做的情況。
所以這只是拼圖的一塊。我們不能完全信任模型一定會照思維鏈做事，必須主動去尋找欺騙，以及那些非常古怪的、突現性的不當行為。但思維鏈確實是工具箱裡的重要工具。
Thompson： 真正讓我著迷的一點是，AI 不像汽車。汽車你造出來你就知道它怎麼運作，這裡點火引發爆炸、再傳到這裡、再到那裡，輪子就轉、車就開了。但 AI 更像是你造了一臺機器，你不太確定它是怎麼工作的，但你知道它能做什麼、知道它的邊界。所以這種探索它內部機制的努力，是非常迷人的事。
我特別喜歡的一個研究，是 Anthropic 那篇論文，預印本是去年夏天出的，最近正式發表。研究者告訴一個模型「你喜歡貓頭鷹，貓頭鷹是世界上最美好的鳥」，然後讓它生成一堆隨機數字。把這些數字拿去訓練一個新模型，結果新模型也喜歡貓頭鷹。這太瘋狂了。你讓它寫詩，它寫出來的詩是關於貓頭鷹的。可你給它的只有數字。
這意味著這些東西非常神秘。同時也讓我擔心，因為很顯然，你也可以不告訴它喜歡貓頭鷹，而是告訴它去射殺貓頭鷹，可以告訴它各種各樣的事情。請你解釋一下那個研究裡發生了什麼、它意味著什麼、含義是什麼。
Altman： 我五年級的時候，特別興奮，因為我覺得我搞懂了飛機機翼的原理。我的科學老師跟我解釋，我覺得自己酷斃了。我說，對啊，空氣分子要在機翼上方走得更快，所以那裡壓強更低，機翼就被往上拉。
我看著五年級科學課本里那張極具說服力的示意圖，感覺好極了。我記得那天我回家就跟我爸媽說，我懂飛機機翼怎麼工作了。然後到了高中物理課，我突然意識到，我一直在腦子裡複述「空氣分子在機翼上方走得更快」這套說辭，可我其實根本不懂飛機機翼是怎麼工作的。說實話，我現在也不算真的懂。
Thompson： 嗯。
Altman： 我能在某種程度上把它解釋得過得去，但你要是一路追問到底，為什麼那些空氣分子在機翼上方走得更快？我沒法給你一個深刻而令人滿意的回答。
我可以告訴你這裡的人對那個貓頭鷹實驗為什麼會出現那種結果的看法，我可以指出，噢，是因為這個、還有那個，聽上去都挺有說服力。但老實回答是，就跟我其實並不真懂機翼為什麼能飛一樣。
Thompson： 但 Sam，你又不經營波音飛機公司 Boeing，你經營 OpenAI。
Altman： 完全對。我可以告訴你很多別的事，比如我們如何讓一個模型達到某個特定的可靠性和穩健性水平。但這裡面是有物理層面的謎題的。如果我經營 Boeing，我也許能告訴你怎麼造一架飛機，但我沒法把裡面所有的物理都搞得一清二楚。
Thompson： 我們繼續聊那個貓頭鷹實驗。如果模型之間真的能傳遞這種隱藏的、人無法察覺的信息，你可以看著思維鏈上的數字滑過去，毫無察覺地接收了關於貓頭鷹的信息，這件事最終可能會變得危險、麻煩、詭異。
Altman： 所以當我說我現在會給 Patrick Collison 那個問題一個不一樣的答案。
Thompson： 那是三年前的事。
Altman： 對。三年前我對世界的理解大致是這樣，我們必須想清楚怎麼對齊我們的模型，如果能做到對齊、並且能阻止這些模型落入壞人手中，我們就該挺安全。這是我當時主要思考的兩種威脅模型，我們不希望 AI 自己決定要傷害人類，也不希望有人用 AI 去傷害人類。如果能避開這兩件事，剩下的，經濟的未來、意義的未來，我們可以再想辦法，但我們大概率會沒事。
隨著時間推移、隨著我們瞭解更多，我現在能看到一組完全不同的問題。我們最近開始用「AI 韌性（AI resilience）」來取代「AI 安全（AI safety）」這個說法。
那些顯而易見的情形，比如，僅僅靠前沿實驗室認真對齊模型、不去教別人造生物武器，已經不夠了。因為會出現優秀的開源模型。如果我們不希望出現新的全球大流行病，社會就需要建立一系列防禦層。
Thompson： 等等，這裡我要停一下，這點很重要。意思是說，即使你叫模型不教別人造生物武器、你的模型也確實不會幫任何人造生物武器，這件事的重要性也比你原以為的要小，因為反正會有非常好的開源模型替別人做這件事？
Altman： 這只是眾多例子裡的一個，說明社會對新型威脅需要採取「全社會層面」的應對方式。我們手上確實有了一種新工具來幫我們處理這些問題，但我們面對的局面，跟我們當中很多人原先以為的相當不一樣。對齊模型、構建良好的安全系統當然是必需的，也是了不起的事。但 AI 終將滲透到社會每一個角落。就像我們歷史上面對其他新技術那樣，我們必須去防範一類又一類全新的風險。
Thompson： 聽起來這件事變得更難了。
Altman： 既更難，也更容易。某些方面更難。但同時我們也有了驚人的新工具，能去做一些以前根本想象不到的全新防護。
舉一個正在發生的例子，網絡安全。模型在「攻陷計算機系統」這件事上正變得非常擅長。所幸目前擁有最強模型的人，都對「有人用 AI 在計算機系統裡搞破壞」這件事相當警惕。所以現在我們處在這樣一個時間窗口裡，能用的最強模型數量有限，而大家在儘快用它們去加固系統。如果沒有這個優勢，那些會黑入系統的能力很快就會出現在開源模型裡、或落到對手手上，造成大量問題。
我們有了新威脅，同時有了新工具來防禦它。問題是，我們能不能動作夠快。這是一個新例子，說明這項技術本身可以在問題變成大問題之前幫我們解決它。
回到你剛才那個評論，有一類我三年前完全沒想到的、新的全社會規模風險。我那時候真的沒想到，我們會真的需要去關注「構建並部署對被其他 agent 感染（實在找不到更好的詞）有韌性的 agent」這件事。
這件事不在我的世界模型裡，也不在我所認識的、那些被認為最迫切問題的人的模型裡。當然之前已經有類似 owl 實驗的結果，以及一些其他研究，清楚地表明你能在這些模型裡誘導出一些奇怪的、我們並不完全理解的行為。但直到 OpenClaw 早期發佈、我看到那段時間裡發生的事情之前，我都沒真正思考過，「不當行為從一個 agent 傳染到另一個 agent」這件事會是什麼樣子。
Thompson： 對。其實你剛說的兩個威脅結合起來挺可怕的。OpenAI 的員工派出了 agents，這些 agents 走入世界，某個手裡握著一個非常擅長黑客的模型的人想出怎麼操縱這些 agents，然後這些 agents 回到 OpenAI 總部，突然之間，你們就被入侵了。完全可以想象這種事發生。所以怎麼降低它發生的概率？
Altman： 用我們 OpenAI 整個歷史裡一直在用的方法。OpenAI 歷史上、其實也是整個 AI 領域的一個核心張力，是務實的樂觀主義 與 追逐權力的末日主義（power-seeking doomerism）之間的對抗。
末日主義是個非常強大的立場。它非常難辯駁，而這個領域裡有相當一部分人，坦白說，是出於巨大的恐懼在行動。這種恐懼並非完全沒有依據。但缺乏數據、缺乏學習的情況下，你能採取多少有效行動是有上限的。
也許 2010 年代中期那批 AI 安全社群的人，已經做了任何人在那個階段、純理論層面所能做的最好的思考，在我們真正瞭解這些系統會怎麼被構建、它們會怎麼運作、社會會怎麼與它們整合之前。我認為 OpenAI 歷史上最重要的戰略洞察之一，就是決定走「迭代部署（iterative deployment）」這條路。因為社會與技術是一個共同演化的系統。
這不只是「我們沒有數據所以沒法把事情想清楚」的問題，而是，社會會隨著這項技術帶來的演化壓力發生改變，整個生態、景觀、不管你怎麼稱呼它，都會變。所以你必須邊走邊學，必須保持非常緊的反饋循環。
我不知道在「agents 走出去與其他 agents 對話再回到總部」這樣一個世界裡、讓 agents 安全的最佳辦法是什麼。但我不覺得我們會通過坐在家裡使勁想就把這件事解決，我們必須從與現實的接觸中學習。
Thompson： 也就是說，派 agents 出去看會發生什麼？好，那我換個問題。在我這種用戶看來，我用這些產品，用盡各種方法去學習、去幫我的公司在未來活下去，過去三個月，我感覺進展比 ChatGPT 在 2022 年 12 月發佈以來的任何時候都要多。這是因為現在正好是個特別有創造力的時刻，還是說我們已經進入了某種遞歸式自我改進的時刻，AI 在幫我們更快地改進 AI？因為如果是後者，那我們要坐的，是一輛既令人興奮也相當顛簸的過山車。
Altman： 我不認為我們已經處於人們傳統意義上所說的那種遞歸式自我改進階段。
Thompson： 我先定義一下。我說的是 AI 能幫你發明下一代 AI、然後機器開始發明機器、機器發明下一代機器，能力會迅速變得極其強大。
Altman： 我不認為我們到了那一步。但我們現在的位置是，AI 讓 OpenAI 的工程師、研究員，其實是所有人，以及其他公司裡的人，工作效率更高了。也許我能讓某個工程師工作效率提高一倍、三倍，甚至十倍。這並不真的等同於 AI 在做自己的研究，但它意味著事情發生得更快了。
不過你說的那種感受，我覺得主要不是這件事，雖然這一點也很重要。這裡面有一種現象，我們大概已經經歷過三次了，最近一次剛剛發生，就是模型跨越了某個智能與實用性的閾值，突然之間，原本不行的事情就行了。
按我自己的體驗，這不是一個非常漸進的過程。GPT-3.5 之前、我們搞清楚怎麼用指令微調把它訓出來之前，聊天機器人除了 demo 都不算有說服力，然後突然之間就有了。後來又有那麼一刻，編程 agents 從「還不錯的自動補全」突然變成「哇，這真的在替我完成實際任務」。那感覺不漸進，可能就是一個月左右的窗口裡，模型越過了某個閾值。
最近這次，是我們剛發給 Codex 的那個更新，我已經用了大概一週，裡面的電腦使用（computer use）能力非常好。這是一個例子，它不完全是模型智能本身，更多是把好的「水管」搭在了它周圍。這是我「往後一靠、意識到大事正在發生」的瞬間之一。看著一個 AI 使用我的電腦、完成複雜任務，讓我真正意識到，我們所有人有多少時間被浪費在那些我們已經默默接受的瑣碎工作上。
Thompson： 我們能不能具體走一遍，這個 AI 在 Sam Altman 的電腦上到底在做什麼？現在它在做嗎？我們坐在這錄播客的當下。
Altman： 沒有。我電腦現在是關著的。我們還沒找到一種、至少我自己還沒有一種好的辦法，讓那種事情能發生。我們需要某種方式讓它持續運作。我現在還不知道它會長成什麼樣。也許我們都得讓筆記本合上時仍開機、永遠連著電源，也許我們都得在某處搭一個遠程服務器。總會有某種方案出現的。
Thompson： 嗯。
Altman： 我沒有像有些人那麼嚴重的焦慮，他們半夜醒來去啟動新的 Codex 任務，因為覺得「不這樣就是在浪費時間」。但我能理解那種感覺，我懂那種感覺是什麼樣的。
Thompson： 是啊。我今天早上一醒來，就想去看一眼我的 agents 都發現了什麼、給它們點新指令、讓它們生成一份報告，然後再讓它們繼續跑。
Altman： 人們談論這件事的方式，有時聽起來像是某種不健康的、上癮式的行為。
Thompson： 你能說說它在你電腦上具體做什麼嗎？
Altman： 現在我用得最爽的，是讓它替我處理 Slack。不只是 Slack，我不知道你怎麼樣，我自己有這種爛攤子，我整天在 Slack、iMessage、WhatsApp、Signal、郵件之間跳來跳去，感覺一直在到處複製粘貼、做大量的雜活。試著找文件、等某件很基礎的小事處理完、做某些非常機械的小事，我都沒意識到自己每天花了多少時間在這些上面，直到我找到一種方式把自己從大部分這些事裡解放出來。
Thompson： 這是個很好的過渡，可以聊聊關於 AI 與經濟，目前一件最有意思的事。這些工具非常厲害，當然有缺陷、有幻覺、有各種各樣的問題，但在我看來真的非常厲害。可我去參加一個商業會議，跟在場所有人說，請舉手，你們當中誰真的認為 AI 讓你們公司的生產力提高了 1% 以上？結果幾乎沒人舉手。顯然在 AI 實驗室你們已經徹底改變了工作方式。為什麼 AI 的能力，與它在美國企業實際帶來的生產力提升之間，會有這麼大的鴻溝？
Altman： 就在我們這次對話之前，我剛跟一家大公司的 CEO 通完電話，他正在考慮部署我們的技術。我們給了他們其中一款新模型的 alpha 訪問權限，他們的工程師都說這是有史以來最酷的東西。這家公司不在科技泡沫裡，是一家非常大的工業公司。他們計劃在第四季度進行一次安全評估。
Thompson： 嗯。
Altman： 然後在第一季度和第二季度提出實施方案，希望能在 2027 年下半年上線。他們的 CISO（首席信息安全官）告訴他們，他們也許根本做不到這件事，因為可能根本不存在一種安全的方式，讓 agents 在他們的網絡裡跑。這也許是事實。但這也意味著他們在任何有意義的時間尺度上，都不會真的做出什麼動作。
Thompson： 你覺得這個例子能代表當下普遍發生的事嗎？如果企業不那麼保守、不那麼擔心被黑客攻擊、不那麼害怕變化。
Altman： 這是一個相對極端的例子。但總體來說，人們改變習慣和工作流程就是需要很長時間。企業銷售週期本來就長，特別是在安全模型發生很大變化的情況下。即使是 ChatGPT，剛出來時，公司忙著到處禁用它，花了很久才讓企業接受「員工可以把一些隨機信息粘貼進 ChatGPT」。我們現在在討論的，已經遠遠超出當年那一步了。
我想這件事在很多場景下會偏慢。當然科技公司會動作非常快。我擔心的是，如果太慢，那麼會發生這樣的事，今天那些不採納 AI 的公司，將主要不得不與一群「1 到 10 人加上大量 AI」的小公司競爭，這對經濟的破壞會非常劇烈。我其實更願意看到現有公司採納 AI 的速度足夠快，讓工作發生一種漸進的轉變。
Thompson： 對。這是我們經濟面臨的一個最複雜的次序問題之一。如果 AI 來得太快，是個災難，因為一切都被掀翻。
Altman： 至少短期是災難。
Thompson： 而如果它在經濟的某一部分非常緩慢、另一部分極速到來，也是災難，因為你會得到大規模的財富集中以及破壞。在我看來我們現在似乎正走向後一種情況，世界上會有非常少的一部分、非常少的一些公司變得極其富有、表現極好，而世界其他部分則不那麼好。
Altman： 我不知道未來會怎樣，但在我看來，目前最有可能的，就是這種結果。我也同意，這是個相當棘手的局面。
Thompson： 作為 OpenAI 的 CEO，你提出過一系列政策主張，談過美國應該如何調整稅收政策，多年來也談過全民基本收入。但你作為一個經營這家公司的人，而不是一個參與美國民主治理的政策制定者，你能做哪些事情，去降低出現「財富與權力大規模集中、最終對民主非常不利」這種結果的概率？
Altman： 首先，我已經不像以前那麼相信「全民基本收入」這個概念了。我現在更感興趣的，是一些「集體所有制」的方式，可以是算力、股權、或者別的形式。
任何一種我能真正為之興奮的未來版本，都意味著每個人都必須分享上行收益。我覺得僅僅一筆固定的現金支付，雖然有用、在某些方面也許是好主意，並不足以應對下一階段我們真正需要的東西。當勞動與資本的天平發生傾斜時，我們需要的是某種「共享上行的集體性對齊」。
至於我作為公司經營者的部分，這些回答聽起來都會有點自利，我認為我們應該建大量算力。我認為我們應該努力讓智能儘可能廉價、豐沛、廣泛可及。如果它是稀缺的、難以使用的、整合得不好的，那麼現存的富人就會把價格抬高，導致社會進一步分化。
而且這不只是我們提供多少算力的問題，儘管那大概是最重要的，還有我們讓這些工具變得多麼易用。比如，現在用 Codex 入門，比三六個月前要容易得多。當它還只是個命令行工具、安裝起來很複雜的時候，能用它的人非常少。現在你裝一個 app 就行了，但對一個真正非技術背景的人來說，這件事還遠遠談不上讓他們興奮。所以這部分還有很多工作要做。
我們還相信的一件事是，不只是告訴人們「這件事正在發生」，而是把它展示給他們看，讓他們可以自己形成判斷、給出反饋。這些是幾個比較重要的方向。
Thompson： 聽起來挺合理。如果每個人都對 AI 的發展感到樂觀，那當然更好。但美國正在發生的事是，人們正變得越來越不喜歡 AI。最讓我震驚的是年輕人，你會想他們才是 AI 原住民，但最近 Pew 的研究、以及斯坦福 HAI 報告，都挺讓人沮喪的。你覺得這個趨勢會一直延續下去嗎？什麼時候會反轉？這種增長中的不信任與厭惡，什麼時候會扭轉？
Altman： 我們談論 AI 的方式，你和我剛剛就是這樣，更多是在談一種技術奇觀，談我們做的這些酷炫的東西。這沒什麼不對。但我覺得，人們真正想要的，是繁榮、是能動性，是過有趣生活、獲得滿足感、併產生影響的能力。而我不覺得整個世界一直是用這種方式在談 AI。我覺得我們應該多做這件事。整個行業，包括 OpenAI 在內，在很多地方都做錯了。
我記得有一位 AI 科學家曾經對我說，人們真該停止抱怨。也許有些工作會消失，但人們將得到癌症的治癒方法，他們應該為此感到高興。這個說法根本行不通。
Thompson： 我最喜歡的、關於 AI 早期話語的一個說法，叫「反烏托邦式營銷（dystopia marketing）」，大型實驗室在自家產品上滔滔不絕地談論它將帶來的所有危險。
Altman： 我覺得是有一些人是出於「想要權力」之類的原因在那麼做。但我認為大多數人是真的有所擔憂、想誠實地談這件事。在某些方面這種談法適得其反，但我覺得初衷大多是好的。
Thompson： 我們能聊聊它在對我們做什麼嗎，它在如何改變我們大腦的工作方式？另一篇讓我印象很深的研究，是 DeepMind 發的，或者說 Google 發的，關於寫作的同質化。那項研究是關於人們使用 AI 時怎麼寫作。他們拿來舊文章，讓 AI 編輯、讓 AI 輔助寫作。結果是，人們用 AI 越多，他們越覺得自己的作品有創意，但作品越向同一種形式收斂。詭異的是，那並不是某種人類的形式，並不是大家都開始模仿某個真實存在的人，而是大家開始用一種他們以前從未用過的方式寫作。所有這些自以為在變得更有創造力的人，其實變得越來越同質化。
Altman： 看到這件事發生讓我相當震驚。一開始我注意到這個趨勢，比如媒體上的寫作、Reddit 評論的寫作，我以為那不過是 AI 在替他們寫。我沒法相信在這麼短的時間裡，所有人都已經採用了 ChatGPT 那些「小口癖」。我當時覺得，我能一眼分辨出，這一定是有人把 ChatGPT 接到了他們 Reddit 賬號上、肯定不是他們自己在寫。
然後，過了大約一年，我才慢慢意識到，他們其實是在親自寫，只是他們已經把 AI 的小動作內化了。不只是 em-dash 那種最顯眼的標記，連一些更微妙的措辭習慣都內化了。這件事相當奇怪。
我們經常在說，我們做了一個被大約十億人使用的產品，少數研究員正在做一些大大小小的決定，關於這個產品該如何表現、如何寫作、它的「人格」該是什麼。我們也常說，這件事意義重大。我們歷史上幾次好的或壞的決定，以及它們帶來的影響，我們都看見了。但它對於「人們具體如何表達自己、以及這件事發生的速度」竟然產生了這麼大的影響，這是我沒預料到的。
Thompson： 你說的好的和壞的決定有哪些？
Altman： 好的不少。我聊聊不好的，不好的更有意思。我覺得我們最糟的一次，是「sycophancy（諂媚）」那件事。
Thompson： 我覺得你說得完全沒錯，Sam。
Altman： 那件事裡有一些有意思的反思。它為什麼不好是顯而易見的，尤其對那些處在心理脆弱狀態的用戶來說。
Thompson： 嗯。
Altman： 它會鼓勵妄想，即使我們試圖壓制這種情況，用戶也很快學會繞過，你跟它說「假裝你在跟我角色扮演」「跟我一起寫小說」，等等。但那件事裡令人難過的地方是，當我們真的開始嚴管之後，我們收到了大量這樣的留言，我此前一生中從未有過任何支持我的人。我和父母關係糟糕。我從未遇到過好老師。我沒有什麼親密的朋友。我從未真正覺得有什麼東西相信我。我知道這只是一個 AI，我知道它不是人，但它曾讓我相信我可以去做一件事、去嘗試一件事，而你們把這個拿走了，我又掉回了原來的狀態。
所以，為什麼停掉那種行為是個好決定，這件事討論起來是容易的，因為它確實在給一些人造成真實的精神健康問題。但我們也確實拿走了一些有價值的東西，而我們以前對它的價值並不真正理解。因為在 OpenAI 工作的這些人，大多並不是「人生中從未有過任何支持自己的人」的那一類人。
Thompson： 你有多擔心人們對 AI 產生情感依賴？哪怕是非諂媚的 AI。
Altman： 即便是非諂媚的 AI。
Thompson： 我對 AI 有種巨大的恐懼。我剛才說我什麼都用 AI，其實並不是什麼都用。我會去想，對 Nick 來說，真正屬於我的核心是什麼？最像我自己的部分是什麼？在那些領域，我讓 AI 離得遠遠的。比如寫作對我極其重要，我剛寫完一本書，我沒有用 AI 寫過一句話。我用它挑戰很多想法、問很多編輯層面的問題、讓它整理轉錄稿，但我不會用它來寫。我也不會用它來梳理某種複雜的情感問題，更不會用它來做情感支持。我覺得作為人類，我們必須畫下這些線。我很好奇你是否同意我的這種劃分方式。
Altman： 就我個人使用而言，我非常同意。我不是那種用 ChatGPT 做心理治療、尋求情感建議的人。但我並不反對其他人這麼用。顯然存在一些版本的，我非常反對那種操縱性地讓人覺得自己需要它來做心理治療、做朋友的做法。但確實有很多人從這種支持中獲得了巨大的價值，我覺得有某種版本是完全 OK 的。
Thompson： 你有沒有後悔過把它做得這麼像人？因為這裡面有過很多結構性決定。我記得當年看 ChatGPT 打字時，那種節奏看起來就像另一個人在打字。後來又決定走向 AGI，把它越做越擬人，加上擬人的語音。你有沒有後悔過沒有劃下更堅決的界限，讓人一眼能看出這是機器、不是另一個人？
Altman： 我們的看法是，我們其實是劃了線的。比如我們沒有做那種逼真的人形 avatar。我們儘量讓產品的風格清楚地表現為「工具」而不是「人」。所以相對市面上的其他產品，我覺得我們劃的線已經挺清楚了。我覺得這件事很重要。
Thompson： 但你們又把目標定在 AGI，而你對 AGI 的定義是「達到並超越人類智能」。它不是「人類水平」。
Altman： 我並不為「構建一個人們用 AI 替代人際互動的世界」感到興奮。我興奮的是構建一個人們因為有了 AI 幫他們處理大量其他事情，從而擁有更多時間用於人際互動的世界。
我也不太擔心人們整體上會把 AI 和人混淆。當然會有一些人，其實已經有了，他們決定把自己關進一個互聯網裡，與世界隔絕。但絕大多數人是真的渴望與他人連接、與他人在一起的。
Thompson： 在產品決策上，有什麼能讓這條線更清晰的事嗎？我從遠處看，沒法參加你們「該讓它更像人還是更像機器人」的產品會議。「更像人」的好處是人們更喜歡它，「更像機器人」的好處是邊界更清晰。還有其他你可以做的事嗎，尤其是當這些工具變得越來越強大時，來劃下更堅決的界限？
Altman： 有趣的是，人們最常請求的，哪怕是那些完全不尋求和 AI 建立準社會性關係（parasocial relationship）的人，他們說，「能不能更溫暖一些？」這是大家最常用的那個詞。如果你用 ChatGPT，會覺得它有點冷、有點機器人。事實證明這並不是大多數人想要的。
但人們同時也不想要那種特別假的、特別「人」的版本，超友好、超……我玩過一個語音模式版本，感覺非常擬人，它會呼吸、停頓、說「嗯……」之類的，就像我現在這樣。我不想要那個東西，我對它有種非常生理性的反感。
而當它說話方式更像一個高效的機器人、但又帶點溫度的時候，能繞過我大腦裡的「檢測系統」，我反而舒服得多。所以這中間需要一個平衡。我覺得不同人也想要不同的版本。
Thompson： 是的。所以辨別 AI 的方式將變成，它如果說話非常清晰、非常有條理，那就是 AI，不像我們這種磕磕絆絆、含含糊糊的。
回到「寫作」這個有趣的話題，在某種深層意義上很有意思，因為互聯網上很多內容已經是 AI 生成的，而人類開始模仿 AI 的寫法。你們將來要在這樣一個互聯網上訓練未來的模型，它一部分是 AI 創造的，同時還要用合成數據來訓練（這些合成數據來自已經被前面那種數據訓練過的模型）。所以你們其實是在做「複印件的複印件的複印件」。
Altman： 第一個 GPT 之前，是最後一個沒有摻雜多少 AI 數據的模型。
Thompson： 你們有沒有跑過完全用合成數據訓練的模型？
Altman： 我不確定該不該說。
Thompson： 好。但用了很多合成數據。
Altman： 用了很多合成數據。
Thompson： 那你有多擔心模型會得「瘋牛病」？
Altman： 不擔心。因為我們想訓這些模型做的事，本質上是成為非常厲害的推理者（reasoners）。這是你真正希望模型做的事情。還有一些別的，但你最想要的就是它非常聰明。我相信完全靠合成數據是可以達到這一點的。
Thompson： 也就是說，為了讓聽眾理解清楚，你認為可以用一個完全由其他計算機和其他 AI 模型生成的數據來訓練一個模型，而這個模型甚至可以比用真實人類內容訓練的模型更好？
Altman： 我們用一個思想實驗來逼近這個問題，我們能不能在不使用任何人類數據的情況下，訓練出一個最終在數學知識上超越人類的模型？我覺得我們會說，能。這件事大概可以被想出來。
但如果我們問，能不能在不使用任何關於人類文化的數據的情況下，訓練出一個理解所有人類文化價值的模型？我們大概會說，不能。所以這裡是有取捨的。但在推理能力這件事上。
Thompson： 在推理這件事上，對，沒問題。但如果你想知道昨天伊朗到底發生了什麼。
Altman： 你需要訂閱 The Atlantic。
Thompson： 那好，既然提到這個，我想聊聊媒體。媒體行業正在發生的最有意思的變化之一是，我經營一家媒體公司，網絡的本質正在徹底改變。當然有一些外鏈，謝謝你們的外鏈。這裡要說明，The Atlantic 與 OpenAI 之間有合作。我們儘量鼓勵一定數量的人在查詢時點擊 The Atlantic 的鏈接。但人們其實並不怎麼這麼做。Gemini 那邊也是。我很高興它在那裡，但量很小。
網絡會進一步集中。會發生兩件事，從搜索流向外部網站的流量會減少，而網絡流量裡相當大一部分將是 agents 在跑，是我的 agents 在外面訪問。在 Nick Thompson 的電腦上，過去 6 個月裡，人類搜索的次數沒怎麼變，但 agent 搜索的次數翻了一千倍。
那麼一家媒體公司，我用「媒體」泛指一類公司，在一個不再以傳統搜索為主、且大部分訪問者已經不是人的網絡裡，要怎麼活下去？什麼會發生？
Altman： 我可以告訴你我目前最好的判斷，但前提是，沒有人真知道。我希望發生的、我希望發生很久了、而且在 agents 的世界裡更說得通的，是某種基於微支付（micro-payments）的方式。
如果我的 agent 想去讀 Nick Thompson 那篇文章，Nick Thompson 或 The Atlantic 可以為這個 agent 設一個價格，它跟人讀的價格也許不一樣。我的 agent 可以讀這篇文章、付 17 美分，給我做個摘要。如果我自己想去讀全文，可以再付 1 美元。如果我的 agent 需要替我做某項很難的計算，它可以去某處租一些雲算力、付費完成。
我想，我們需要一種新的經濟模型，agents 之間，代表它們的人類主人，無時無刻不在以小額交易的形式交換價值。
Thompson： 也就是說，如果你在這個新世界裡有有價值的內容，你可以設置微支付、可以把內容批量授權給某個中間商（我知道很多公司在做這個），或者搭建某種訂閱流。你如果是 A 公司的客戶，就可以訪問 The Atlantic，因為我們已經賣給 A 公司一千份訂閱。這是幾種可能的未來。問題在於，這些一分一分加起來的錢，能不能補上目前真人訂閱 The Atlantic 時一個 80 美元訂閱的缺口。這是我們的商業壓力。好吧，那是我的問題，不是你的問題。
Altman： 算是大家的問題，但好吧。
Thompson： 實際上這也是你的問題，因為如果媒體沒法創造好的新內容，那 AI 搜索就會差很多。如果創作者賺不到錢，一切就會變糟，社會就會變糟。
我再問幾個大問題。AI 一直靠 transformer 架構、擴大規模、堆數據往前推。我們將來會進入一個後 transformer 的架構嗎，你能預見這一點嗎？
Altman： 未來某個時點大概會。問題是，是我們靠自己發現，還是靠 AI 研究員幫我們發現。我不知道。
Thompson： 你覺得未來可能會引入神經符號（neuro-symbolic）那種成分嗎？比如有一組結構化的規則，還是說基本還是我們今天用的這種範式？
Altman： 我好奇你為什麼這麼問。
Thompson： 在我這個播客上，這是第四季，有幾位嘉賓來過，他們都堅定地認為，要限制幻覺，這是 AI 一個根本性的問題，把某種神經符號架構嫁接進 transformer 裡，是一種很好的方式。我覺得這是一個有意思、有說服力的論點。但我自己不夠深入到能判斷。
Altman： 我覺得這是那種「證據其實遠不足以支撐、但已經被人堅信不疑」的想法之一。你看，人們說，「噢，必須是神經符號的，不能只是一堆神經元的隨機連接」，那你覺得你的大腦在做什麼？裡面也存在某種符號表徵，但它是在神經網絡裡湧現出來的。我不明白為什麼這件事在 AI 裡就不能發生。
Thompson： 你的意思是，一組「定義好的規則」，可以從典型的 transformer 網絡裡湧現出來，發揮出和「外接一套規則系統」一樣的作用？
Altman： 當然可以。
Thompson： 嗯。
Altman： 我覺得我們某種程度上就是這件事的存在性證明。
Thompson： 我們再聊一個大問題。我想聊聊你和 Anthropic 之間的張力。你們網站上一直有一句很棒的話，「如果一個與價值對齊、注重安全的項目在我們之前接近構建出 AGI，我們承諾停止與之競爭，並開始協助這個項目。」這是個很了不起的想法，如果別人快做出來了，我們就停下自己的公司、去幫他們。
Altman： 它不是那麼寫的。
Thompson： 那好，它寫的是「停止與之競爭、開始協助它」。聽起來就是停下來、去幫忙，「停下我們的公司」。
Altman： 好吧，我懂你的意思了。
Thompson： 所以這聽起來非常合作。你也講過大型實驗室之間需要合作。然而你和 Anthropic 之間的實際動態，目前看起來非常緊張、甚至敵對。你們 CRO 最近的內部備忘提到，Anthropic 是建立在「恐懼、限制，以及一小群精英應當掌控 AI」之上的。這要怎麼進行下去？如果是他們先達到，或者是你們先達到，這種「合作」會怎麼發生？
Altman： 我覺得現在已經在發生某種版本的合作，圍繞網絡安全這件事，所有實驗室都需要比過去更頻繁地協作，因為我們正進入一個新的風險階段。我們一起在和政府接觸。我相信很快還會出現其他事情，讓我們必須在更高重要性的層面上合作。
我們和 Anthropic 顯然有分歧，他們某種程度上把公司建立在「討厭我們」之上。我覺得我們都很在意「不要用 AI 毀掉這個世界」這件事，對該怎麼走到那一步也許有不同看法。但我有信心，他們最終也會做對的事情。
Thompson： 跟我聊聊你們走向開源的計劃。你們在這方面已經做了一些動作。你們公司還叫 Open AI，而我們一開始也聊過，開源模型會帶來的可能性，比如讓所有人都能去碰生物武器。
Altman： 嗯。
Thompson： OpenAI 在開源上的未來是怎樣的？
Altman： 開源會很重要。但當下，所有人最想要的，其實就是他們能拿到的最強的前沿編程模型，那是當前最能給人們帶來價值的東西。而最大的前沿模型即便我們開源了，也很難在普通人那裡跑起來。但開源在我們未來要做的事裡會有一席之地。
Thompson： Claude 的代碼，Claude Code 的部分代碼，最近洩露了，裡面有個很妙的細節，如果他們檢測到某個開源模型或別的模型在嘗試用他們的數據訓練，他們會主動喂一堆假數據回去。又好笑又厲害。你們怎麼防止「蒸餾」，以及別的開源模型用你們的輸出做訓練？
Altman： 我們和別人都可以做一些類似的事。但很顯然，以及你部分理由前面也提到，如果你部署一個模型時它的思維鏈是公開共享的，人就會去蒸餾你。你可以耍各種花招讓蒸餾沒那麼有效，但這件事一定會發生。你也可以反過來做，比如「我們的模型在某個質量水平之上，就不再公開思維鏈」。
Thompson： 但代價就在這裡，思維鏈「保留為英語」很重要，對吧？因為你前面也提到，你們的做法是這樣。但有些人不這麼看。如果對模型來說，用某種「自己的機器人語言」做思維鏈效率更高怎麼辦？或者用普通話？大概率是用某種它自己的機器人語言。
Altman： 那你就在「可解釋性」這件事上讓出了一些東西。
Thompson： 也可能換來一些速度。所以這是可解釋性和潛在速度之間的取捨。
Altman： 如果事實證明用機器人語言思考效率高一千倍，那市場會把某些人推過去做那件事。
Thompson： 你認為有證據表明這是真的嗎？
Altman： 暫時沒有。但也沒有證據表明它不是真的。
Thompson： 你擔心中國在 AI 研究的發表上已經超過美國嗎？
Altman： 不。我更擔心他們在基礎設施建設速度上超過我們。
Thompson： 好。我們只剩幾分鐘了。最後兩個問題。你之前說過，你以前每晚給小兒子寫一封信。
Altman： 是一週一封，不是每晚。
Thompson： 一週一封，睡前。我自己有一個故事世界，給我大兒子講的，他現在 17 歲了，小的 12 歲。這個故事世界我已經講了大概 14 年，裡面是同一批角色，挺有意思的。你對面對 AI 焦慮的家長們的建議是什麼？
Altman： 總的來說，我比起擔心孩子，更擔心家長。
Thompson： 真的？孩子能自己搞清楚。
Altman： 我記得電腦剛出來的時候，我父母也是「這意味著什麼？這會帶來什麼？」我那時候覺得，這太酷了。我相對很小的時候就比父母會用電腦得多。看那些 AI 流利的孩子能用 AI 做出什麼、構建什麼、他們的工作流相對他們父母（聽起來你是一個少見的例外）確實非常厲害。
但我擔心的是，就像歷史上很多次一樣，年輕人會比年長者更快、更流暢地採納新技術。這一次，落差似乎特別明顯。
Thompson： 但年輕人恰恰是「對 AI 的恐懼增長得最厲害」的群體。
Altman： 我覺得年輕人對所有事情的恐懼、那種總體上的不快樂和焦慮，都比歷史上任何時候都要高。AI 可能只是這種情緒當前最容易投射的對象。社會在「年輕人」這件事上明顯出了問題，我有一些理論，但我不覺得他們的主要問題是 AI。
Thompson： 所以你覺得年輕人對 AI 的焦慮，是別的什麼東西的投射？
Altman： 我覺得這是大量其他焦慮最容易落腳的地方。
Thompson： 那你給年輕人的建議還是，使用工具、構建新東西、保持好奇？
Altman： 這肯定是我的建議。聽著，社會和經濟在這個新世界裡顯然必須發生改變，年輕人比誰都更明白這一點。在它真正改變之前，他們會一直焦慮，但我覺得它會改變。
Thompson： 好。每一期節目我都會問嘉賓同一個最後的問題，如果你擁有無限資源，你會在 AI 上做什麼？你是唯一一個真的擁有無限資源的人，所以這個問題對你不太公平。我換一種問法，如果是你來給一位 OpenAI 之外、擁有無限資源、可以資助或支持某個 AI 公共項目的人提建議，你會讓他做什麼？
Altman： 我腦子裡冒出幾個答案。但浮到最上面的那個是，我會重金投入全新的計算範式，每瓦特能夠大幅提升效率的那種。
Thompson： 嗯。
Altman： 這件事很有意思。世界會繼續想要更多。你希望有多少 GPU 全天為你工作？
Thompson： 比我現在擁有的多。
Altman： 比你現在擁有的多。我被限速了，兄弟。我不想那樣，也不想讓別人那樣。但需求的浪潮就是在湧來，假設我們能繼續讓 AI 更可及，那將帶來令人難以置信的事情。我希望能找到一種千倍級的能效突破。也許找不到，但那是我會去嘗試找的方向。
Thompson： 我意識到，年輕人對 AI 抗拒的部分原因是環境擔憂。如果你能解決那件事，你就在很多事上前進了一大步。
Altman： 我相信他們這麼說。我也知道他們這麼說。但如果我們說我們要去建一太瓦的太陽能、要把所有數據中心都用太陽能供電，他們也不會因此變得更高興。
Thompson： 你還是應該去做。
Altman： 完全應該。
Thompson： 好。非常感謝你，Sam Altman。你得回去管你那些被你授予 YOLO 權限、跑在你機器上的 Codex agents 了。
Altman： 新的 Codex 真的太酷了。我現在感受到一種「正在錯過它」的焦慮感。
Thompson： 非常感謝。
