英偉達 GTC 線上大會發起了一場特別活動，公司創始人兼 CEO 黃仁勳與 OpenAI 聯合創始人及首席科學家伊爾亞 - 蘇茨克維展開了一次「爐邊談話」。
編輯整理：李海丹、周小燕
來源：騰訊科技
北京時間 3 月 23 日 0 點，英偉達 GTC 線上大會發起了一場特別活動，公司創始人兼 CEO 黃仁勳與 OpenAI 聯合創始人及首席科學家伊爾亞 - 蘇茨克維展開了一次「爐邊談話」。
黃仁勳認為，ChatGPT 是「AI 界的 iPhone 時刻」，但這一時刻的到來並非一蹴而就，Open AI 聯合創始人早在十年前便開始關注神經網路，在探索生成式 AI 的過程中也經歷了神經網路如何兼具深度和規模的探索、讓機器不受監督地學習能力的突破。到如今，ChatGPT 成為了一款全球關注的「網紅工具」。站在當下回顧它的迭代和發展歷程，創意似乎是在創始人和團隊的一個個「靈感」之中蹦出，看似理所當然的創新背後究竟有哪些「激動人心的時刻」？
視訊相見：視訊連結
以下為本次對話內容精華整理：
黃仁勳：最近 ChatGPT 的熱潮將人工智慧又站在了世界的「風口浪尖」，OpenAI 公司也受到行業的關注，你也成為了整個行業最為引入注目的年輕工程師、最為頂尖的科學家。我的第一個問題是，你最初關注和聚焦人工智慧領域的出發點是什麼？有想過會取得目前如此巨大的成功嗎？
伊爾亞 - 蘇茨克維：非常感謝對我的盛情邀請。人工智慧通過不斷的深度學習，給我們的世界帶來了巨大的變化。對於我個人來說，其實主要是兩方面：
首先，我關注在人工智慧深度學習方面的初心，是我們人類對於各種問題，都有一定的直覺性的理解。對於人類意識的定義，以及我們人類的智力是如何完成這樣的預判，這是我特別感興趣的地方。
第二，在 2002 年到 2003 年期間，當時的我認為「學習」這件事，是隻有人類才能完成的任務，計算機是無法做到的。所以我當時冒出一個想法：如果能夠讓計算機去不斷學習，或許會帶來人工智慧行業的改變。
很幸運的是，當時我正在上大學，我研究的專業剛好是研究神經網路學習方向。神經網路是在 AI 方面的一個非常重要的進步，我們關注如何通過神經網路去研究深度學習，以及神經網路如何像人類的大腦那樣工作，這樣的邏輯如何反映在計算機的工作方式上。當時的我其實並不清楚研究這個領域會帶來怎樣的職業工作路徑，只是覺得這會是一個長期而言比較有前景的行業。
黃仁勳：在您最開始接觸神經網路研究方向時，那個時候的神經網路的規模是多大？
伊爾亞 - 蘇茨克維：那個時候神經網路還沒有討論到規模的概念，只有幾百個神經單元，甚至當時的我都沒想過，居然能發展到現在如此之多的神經單元、以及如此多的 CPU 的單位。當時我們啟動了一個數學實驗室，基於經費預算有限，我們先開始只做了各種各樣不同的實驗，並收集了各種不同的問題去測試準確度。我們都從一點一滴很小的積累，去培訓神經網路。這也是最開始實現的第一個生成式 AI 模式的雛形。
黃仁勳：早在 2012 年之前，你就在神經網路領域有所建樹，你是在什麼時間點開始覺得計算機視覺以及神經網路和人工智慧是未來方向的？
伊爾亞 - 蘇茨克維：在 2012 年之前大概兩年左右，我逐漸意識到深度學習會獲得很多關注，這不僅僅是我的直覺，其背後有一套非常紮實的理論基礎。如果計算機的神經網路足夠深、規模足夠大，它就能夠解決一些深層次的硬核內容問題，關鍵是需要神經網路兼備深度和規模，這意味著我們必須有足夠大的資料庫和算力。
我們在優化資料模型上付出很多努力，我們的一個同事基於「秒」做出了神經網路的反饋，使用者可以不斷培訓神經網路，這能讓神經網路的規模更大、獲得更多資料。有的人覺得這樣的資料集大到不可想象，如果當時的算力能夠處理這麼大的資料，那麼一定能觸發一場革命。
黃仁勳：我們第一次相遇的時候，也是我們對未來的展望真正有所交集的時候。你當時告訴我說，GPU 會影響接下來幾代人的生活，你的直覺認為 GPU 可能會對深度學習的培訓有所幫助。能不能告訴我，你是在什麼時候意識到這一點的？
伊爾亞 - 蘇茨克維：我們在多倫多實驗室中第一次嘗試使用 GPU 培訓深度學習的時候，並不清楚到底如何使用 GPU、如何讓 GPU 獲得真正的關注。隨著我們獲得越來越多的資料集，我們也越來越清楚傳統的模型會帶來的優勢。我們希望能夠加速資料處理的過程，培訓過去科學家從來沒有培訓過的內容。
黃仁勳：我們看到 ChatGPT 和 OpenAI 目前已經打破了過去計算機編輯影象的模式。
伊爾亞 - 蘇茨克維：我覺得不是打破了計算機影象的編輯，而是用另外一種說法去形容，是「超越式」的。大部分人都是用傳統的思維模式去處理資料集，但我們的處理方式更先進。當時我們也認為這是一件艱難的事情，如果我們能做好，就是幫助人們跨越了一大步。
黃仁勳：放在當下來看，當時你去矽谷到 Open AI 上班、擔任 Open AI 的首席科學家，你認為最重要的工作時什麼？我覺得 Open AI 在不同的時間點有不同的工作關注焦點，ChatGPT 是「AI 界的 iPhone 時刻」，你是如何達到這樣的轉變時刻的？
伊爾亞 - 蘇茨克維：最開始我們也不太清楚如何開展整個項目，而且，我們現在所得出的結論，和當時使用的邏輯完全不同。使用者現在已經有這麼好用的 ChatGPT 工具，來幫助大家創造出非常好的藝術效果和文字效果。但在 2015 年、2016 年的時候，我們還不敢想象能達到當下的程度。當時我們大部分同事來自谷歌的 DeepMind，他們有從業經驗，但相對而言思想比較狹窄、受到束縛，當時我們內部做了 100 多次不同的實驗和對比。
那時我想出一個特別令自己激動的想法，就是讓機器具備一種不受監督的學習能力，雖然今天我們認為這是理所當然的，你可以用自然語言模型培訓所有內容。但在 2016 年，不受監督的學習能力仍舊是沒有被解決的問題，也沒有任何科學家有過相關的經驗和洞見。我覺得「資料壓縮」是技術上的瓶頸，這個詞並不常見，但實際上 ChatGPT 確實壓縮了我們的培訓資料集。但最後我們還是找到了數學模型，通過不斷培訓讓我們壓縮資料，這其實是對資料集的挑戰。這是令我感動特別激動的一個想法，這個想法在 Open AI 上獲得了成果。
其實這樣一些成果，可能並不會在機器學習之外深受歡迎，但是我想說的是，我工作取得的成果是培訓了神經網路。
我們希望能夠去培訓神經網路預測下一個單詞。我認為下一個神經元的單位會和我們的整個視覺神經網路密切相關的，這個很有趣，這個和我們驗證的方法是一致的。它再次重新證明了，下一個字元的預測、下一個資料的預測能夠幫助我們去發掘現有資料的邏輯，這個就是 ChatGPT 培訓的邏輯。
黃仁勳：擴大資料規模是幫助我們提高 AI 能力的表現，更多的資料、更大的資料集能夠幫助生成式 AI 獲得更好的結果。你覺得 GPT-1、GPT-2、GPT-3 的演變過程，是否符合摩爾定律？
伊爾亞 - 蘇茨克維：OpenAI 的目標之一是解決擴大資料集的問題，但我們剛開始面臨的問題，如何提升資料的高精準度，讓模型能夠實現精準預測非常重要。我們當時在做 Open AI 項目的時候，希望它能實時做一些策略性遊戲，比如競爭性的體育遊戲，它必須足夠快、足夠聰明，還要和其它隊競賽。作為一個 AI 模型，它其實不斷重複這樣一個基於人類反饋的強化學習過程。
黃仁勳：你是如何精準調控給予人類反饋的強化學習的？是不是有其它附屬系統，給 ChatGPT 一定的知識背景來支援 ChatGPT 的表現？
伊爾亞 - 蘇茨克維：我可以給大家解釋一下，我們的工作原理是不斷培訓神經網路體系，讓神經網路去預測下一個單詞。基於過去我們收集的文字，ChatGPT 不僅僅是表面上的自我學習，我們希望它能夠在當下預測的單詞和過去的單詞之間達成一定的邏輯上的一致。過去的文字，其實是用於投射到接下來的單詞的預測上。
從神經網路來看，它更像是根據世界的不同方面，根據人們的希望、夢想和動機得出一個結論。但我們的模型還沒有達到預期的效果，比如我們從網上隨便摘幾個句子做前言，在此基礎上，不需要做額外的培訓就能讓 ChatGPT 寫出一篇符合邏輯的論文。我們不是簡單地根據人類經驗完成 AI 學習，而是要根據人類反饋進行強化學習。人類的反饋很重要，越多的反饋能使 AI 更可靠。
黃仁勳：你可以給 AI 指示，讓 AI 做某些事情，但是你能不能讓 AI 不做某些事情？比如說告訴 AI 界限在哪裡？
伊爾亞 - 蘇茨克維：可以的。我覺得第二個階段的培訓序列，就是和 AI、神經網路去進行交流，我們對 AI 訓練得越多，AI 的精準度越高，就會越來越符合我們的意圖。我們不斷地提高 AI 的忠誠度和準確度，它就會變得越來越可靠，越來越精準，而且越來越符合人類社會的邏輯。
黃仁勳：ChatGPT 在幾個月之前就面世了，並且也是人類歷史上增長最為迅速的軟體和應用。很多人都會給出各種不同的解釋，有人會說它是目前為止使用方式最簡單的應用。比如說它的互動模式非常簡單，它超越了所有人的預期。人們也不需要去學習如何使用 ChatGPT，只要給 ChatGPT 下命令，提出各種不同的提示就可以。如果你的提示不夠清楚的話，ChatGPT 也會進一步把你的提示做得比較清晰，然後回顧並且問你是不是想要這個？這樣一個深度學習的過程讓我特別驚豔。
我們在幾天之前看到了 GPT-4 的表現，它在很多領域的表現非常讓人震驚，它能夠通過 SAT 考試、律師協會的律師執業資格考試，而且能夠達到很高的人類水平。我想問的就是，GPT-4 有什麼樣的改善？並且你認為接下來它會幫助人們在哪些方面、領域有更多的改善？
伊爾亞 - 蘇茨克維：GPT-4 基於過去 ChatGPT 的效能，做了很多改善。我們對 GPT-4 的訓練大概是從 6-8 個月之前開始的，GPT -4 和之前版本 GPT 最重要的區別，就是 GPT-4 是基於更精確的精準度去預測下一個單詞的，因為有更好的神經網路幫助預測。
比如說你自己在讀一篇推理小說，小說中有各種不同的人物和情節，有密室、有謎團，你在讀推理小說的過程中完全不清楚接下來會發生什麼。通過小說不同的人物和情節，你預測凶手有幾種可能性，GPT-4 所做的內容就像一本推理小說一樣。
黃仁勳：很多人都會說深度學習會帶來推理，但是深度學習並不會帶來學習。語言模型是如何學習到推理和邏輯的？有一些任務，ChatGPT 和 GPT-3 不夠擅長，而 GPT-4 更擅長。GPT-4 現在還有什麼樣缺陷，可以在接下來的版本上更進一鞏固嗎？
伊爾亞 - 蘇茨克維：現在的 ChatGPT 可以更精準地的定義邏輯和推理，通過更好的邏輯和推理在接下來的解密的過程中獲得更好的答案。神經網路或許會面臨一些挑戰，比如讓神經網路去打破固有的思維模式，這就意味著我們要思考神經網路到底可以走多遠，簡而言之，神經網路的潛力有多大。
我們認為 GPT 的推理確實還沒有達到我們之前預期的水平，如果我們更進一步擴大資料庫，保持過去的商業運轉模型，它的推理的能力會進一步提高，我對這個比較有信心。
黃仁勳：還有一點特別有意思，就是你去問 ChatGPT 一個問題，它會基於過去的知識和經驗告訴你這個問題的答案，這個也是基於它對過去知識和資料庫的總結，以及基於對你的瞭解提供的答案，並且展現一定的邏輯性。我覺得 ChatGPT 有一種自然而然的屬性，它能夠不斷去理解。
伊爾亞 - 蘇茨克維：是的，神經網路確實有這些能力，但是有時候不太靠譜，這也是神經網路接下來面臨的最大障礙。在很多情況下，神經網路會比較誇張、會出很多的錯誤，甚至出一些人類根本做不出來的錯誤。現在我們需要更多的研究來解決這些「不可靠性」。
現在 GPT-4 的模型已經被公開發布了，它其實沒有追蹤資料模型的能力，它的能力是基於文字去預測下一個單詞，所以是有侷限性的。我覺得有些人可能會讓 GPT-4 去找出某些資料的來源，然後會對資料來源做更深入地調查。
總體而言，儘管 GPT-4 並不支援內部的資料收集，它肯定會在持續的資料深入挖掘之中變得更加精準。GPT-4 已經能夠從圖片中進行學習，並且根據圖片和內容的輸入進行反饋。
黃仁勳：多模態學習如何加深 GPT-4 對於世界的理解？為什麼多模態學習定義了 GPT 和 OpenAI？
伊爾亞 - 蘇茨克維：多模態非常有意思：
第一，多模態在視覺和影象識別上特別有用。因為整個世界是由圖片形成的，人們也是視覺動物，動物也是視覺動物，人腦 1/3 的灰質都是用來處理影象的，GPT-4 也能夠去理解這些影象。
第二，通過圖片或文字對世界的理解是一樣的，這也是我們的一個論證。對於一個人而言，我們作為一個人可能一生之中只會說 10 億個詞。
黃仁勳：我腦海中閃過 10 億個詞的畫面，居然有這麼多詞？
伊爾亞 - 蘇茨克維：是的，我們可以計算一下人一生的時間有多久，以及一秒能處理多少詞，如果再減去這個人生命中睡覺的時間，就能算出一生處理了多少單詞。人和神經網路不同之處，就是有些過去對於文字而言的話，如果我們有一個十億級的詞彙無法理解的話，可以用萬億級的詞彙來理解。我們對於世界的知識和資訊，可以通過文字慢慢滲透給 AI 的神經網路。如你加上視覺圖片等更多的元素，神經網路可以更精準地學習。
黃仁勳：對於文字和圖片方面的深度學習，如果我們想要人工智慧智慧去理解其背後的邏輯，甚至誇張的說，是理解這個世界的基本原理——比如我們人類日常一句話的表達方式，比如說有一個詞其實有兩種含義，聲音的高低變化，其實都代表著兩種不同的語氣。在說話的語言和語調方面，會不會對 AI 去理解文字有一定幫助呢？
伊爾亞 - 蘇茨克維：是的，你說的這類場景非常重要。對於語音和語調，包括聲音的大小和語氣，都非常重要的資訊來源。
黃仁勳：GPT-4 在哪些內容上比 GPT-3 做出了更多的進步，可以舉個例子嗎？
伊爾亞 - 蘇茨克維：比如說在一些數學競賽上（像高中數學競賽），很多問題是需要圖表來解答的。GPT-3.5 對於圖表的解讀做得特別差，而 GPT-4 只需要文字就可以解讀，準確率有很噠的提升。
黃仁勳：你之前提到，AI 能夠生成各種不同的文字來去訓練另外一個 AI。比如說，在所有的語言之中一共有 20 萬億不同的語言計數單位去培訓語言模型，那麼這個語言模型的培訓到底是什麼樣的？AI 是否可生成出只屬於 AI 的資料來去自我培訓？這樣的形式看起來是一個閉環的模型，就像我們人類通過自己不斷地去學習外部的世界、通過自我反思、通過解決問題來去訓練我們自己的大腦。你怎麼看這樣一個合成生成過程，以及 AI 的自我學習和自我培訓呢？
伊爾亞 - 蘇茨克維：我不會低估這個部分已經存在的資料，甚至我認為這裡面存在的資料要比我們意識到的資料更多。
黃仁勳：是的，這也是我們在不斷展望的未來中去思考的事情，相信總有一天，AI 能夠自己去生成內容、進行自我學習，並且可以自我改善。你是否可以總結一下我們現在處於什麼樣的發展階段？以及在不遠的將來，我們的生成式 AI 能夠達到什麼樣的情況？對於大語言模型，它的未來是什麼？
伊爾亞 - 蘇茨克維：對我來說，預測未來是很困難的。我們能做的就是把這件事，持續做下去，我們將會讓大家看到更多令人感到驚豔版本的系統。我們希望能夠去提高資料的可靠度，讓系統真正能夠獲得人們的信任。如果讓生成式的 AI 去總結某一些文字，然後得出一個結論。目前 AI 在解讀這個文字過程中，還沒有完全去驗證文字的真實性以及文字所說的資訊的來源，這一點是很重要的。接下來我們對於未來的展望，就是讓神經網路必須要意識到所有資料來源的真實性，讓神經網路意識到使用者每一步的需求。
黃仁勳：這種技術希望能夠展現給人們更多的可靠性。我還有最後一個問題，你覺得第一次使用 ChatGPT-4 的時候，有哪些效能讓你覺得是很令人驚豔和震驚的？
伊爾亞 - 蘇茨克維：對比之前的 ChatGPT 版本，神經網路只會回答問題，有的時候也會誤解問題，回答上很不理想。但是 GPT-4 基本沒有再誤解問題，會以更快的方式去難題，能夠去處理複雜的艱難的任務，這個對我來說特別有意義。舉例子來看，很多人意識到 ChatGPT 能夠寫詩，比如說它可以寫押頭韻的詩，也能夠寫押尾韻的詩。並且它能夠去解釋笑話，能明白這個笑話背後到底是什麼樣的意義。其實簡而言之，就是它的可靠性更好了。
我在這個行業從業差不多二十多年了，讓我認為「驚豔」的特點，就是它本身存在的意義，是可以給人類帶來幫助的。它從最開始毫不起眼的工作領域慢慢成長，變得越來越強。同樣的一個神經網路，通過兩種不同的方式來培訓，能夠變得越來越強大。我也經常會發出疑問和感嘆：這些神經網路是如何去成長如此之迅速的？我們是不是需要更多的培訓？它是不是會像人腦一樣不斷成長？這讓我感覺到它的偉大，或者說讓人感到特別驚訝的方面。
黃仁勳：回想過去我們也認識很長的時間了，你將整個職業生涯都奉獻給了這個事業，看到你在 GPT 和 AI 方面有所建樹。今天跟你交流讓我更清楚地瞭解了 ChatGPT 工作的邏輯，這是對於 ChatGPT 和 OpenAI 最為深入、最為藝術的一種解釋。今天很高興能夠再次跟你交流，謝謝！
