王峰隨筆:關於深度學習之父辛頓、諾貝爾獎和大科學家的好事多磨

avatar
MarsBit
10-13

更新/今天聊聊傑弗裡.辛頓和諾貝爾物理學獎。順便扯的遠一點。

辛頓是人工智能領域沒有爭議的“深度學習之父”。他的根本貢獻來自於深度學習中大量使用的反向傳播算法理論。前年深秋,聖何塞,我第一次在油管上看見辛頓在接受採訪時,就被吸引住了。辛頓的樣子讓人過目不忘。像極了《木偶奇遇記》中的比諾曹,尤其像的地方,是小木人的尖鼻子。那時候,全世界都知道了OpenAI和ChatGPT。但是除了AI圈,卻少有人知道辛頓的名字。

我拿比諾曹開老爺子的玩笑。

一個天真充滿好奇心的小木偶,一心想讓自己成為真人。同樣,辛頓一心想讓人工智能成為現實,也一輪被嘲笑。熟悉計算機發展史的人應該知道,人工智能領域道路崎嶇,技術投入幾起幾落,從業者一路被譏笑。你去看辛頓講話的樣子,那眼神和表情,有幾分比諾曹的優雅。

諾貝爾頒獎通知電話從瑞典打來,是夜裡兩點。

斯德哥爾摩那邊的電話裡問。您在哪裡?“我在加州一家便宜的酒店裡,這裡網絡環境比較差。” 辛頓的回答有點囧。此時此刻,你得到物理學獎的感受。辛頓說以為是惡作劇開玩笑、然後用了一個詞“dream amazing”,夢一樣的驚訝。

“你怎樣描述自己?
究竟是一名計算機科學家,還是一名嘗試理解生物學的物理學家?”

辛頓並沒有在兩個簡單選擇中給出答案。

我這麼多年的觀察,凡是直接在人家給選擇題中做答案的,都不是什麼真正的強人

無論學歷有多高,都沒有用。我們很多人非常習慣做題,一旦畢業後就進入失重狀態,有一種漂浮無力感。因為人進入到一個階段,不是做題,而是找路。現實中,絕大多數他人預設的初始問題,本身就往往是形而上學。何況人家也就是隨便那麼一問,沒過太多大腦。路是自己走出來的。

辛頓說,自己是“一生都在思考人腦是怎樣工作的的人。我在試圖瞭解大腦是如何工作的時候找到了一種技術,效果出奇的好。

這個回答非常漂亮。

辛頓一生的努力和堅持,終讓人工智能成為現實。年輕時,辛頓在劍橋大學求學,為了搞清楚人腦如何思考,試圖同時主修物理學和生理學,一年後均放棄後,改學建築,然後放棄。一年後居然又改修哲學,兩年後和導師不合而放棄,最終得到實驗心理學學士學位。然後,畢業即失業。

很多人不知道,辛頓畢業後居然幹了一年木匠活。哈哈,前面的比諾曹埋到這裡了。

直到聽說有一個專業叫做人工智能。

辛頓果斷去愛丁堡大學,拿到人工智能博士學位,畢業後去美國卡內基梅隆(CMU)任教,“驚訝於這裡的人都在實驗室。”辛頓曾抱怨,他在英國的圈子下班就只知道去咖啡館。最初,辛頓說在CMU幾乎沒有什麼校內交往,唯一交流的是美國另一所大學的教授,以及一位後來進入CMU的統計學專家,才可以一起討論人工智能學術方向。找不到辦法,找不到投緣AI的人,在最無聊的時光裡,辛頓居然也去讀俄羅斯作家陀思妥耶夫斯基的《罪與罰》

辛頓於1986年發表反向傳播算法(BP)理論。一言難盡,解釋起來要花點功夫。

一句話,BP提供了深度學習在大數據集上訓練上的能力,無論是圖像識別、語音識別還是自然語言處理,甚至能為今天十分流行的Transfomer大模型提供了未見數據場景的泛化能力。今天,OpenAI閉源的ChatGPT和Meta開源的LLaMA,開始為業界所熟悉,其實都是基於Transfomer架構上的。通過大量文本數據進行預訓練。反向傳播算法能夠在此過程中調整模型中的參數,使得模型更好地捕捉到語言統計規律。

計算機專業大學課堂的機器學習教程,反向傳播必然是重點章節。

我記得,七年前,我讀過清華大學周志華教授所著的《機器學習》(因為封面有一個西瓜,圈中人稱西瓜書)在其中一章“神經網絡”中,有專門的小節講解了“誤差逆傳播算法”,即通常我們所說的反向傳播算法(BP算法)。這一算法是神經網絡訓練中的關鍵技術,用於通過“梯度下降法”更新網絡權重,以最小化網絡的預測誤差。

相比較個人電腦、互聯網、智能手機以及雲計算等技術熱潮,同樣在計算機科學領域深耕的辛頓,和他追逐的人工智能夢,一連坐了三四十年的冷板凳。

快七十歲的時候,辛頓看見全世界的人工智能都在用自己提出的深度學習算法。

熟悉辛頓的人一定知道,OpenAI前首席科學家Ilya Sutskever是他在多倫多大學執教時期的學生,算是關門弟子。辛頓很認可這個學生的知覺和工程能力。辛頓講了一個故事,Ilya要給數學計算工具MatLab寫一個API接口,以便於把他們團隊整理複雜的數據格式一致。老師辛頓說我們別浪費研究時間,這個工作要耗費一個月時間,學生Ilya說我今天早晨已經寫完了程序。

2013年,Google收購了辛頓和Ilya共同創辦的AI初創公司DNNresearch。

應該說,這家公司是辛頓研究小組的衍生物,當時正在進行圖像識別領域的機器學習研究,Google利用這項技術增強了照片搜索等功能 。

辛頓是英國人。

很多人說英國人不行了。英國人不是日不落帝國時期的那股子勁了。今年夏天我去英國轉了一圈,倫敦的朋友提醒,小心飛車黨。說說和辛頓有關的兩所英國大學,你就知道我們不能自嗨。

劍橋大學內,三一學院,僅僅在理論物理學研究中,這裡走出了牛頓、麥克斯韋和霍金,幾乎奠基夯實物理學三個重要時代。計算機領域,同樣地,國王學院中除了我們知道的徐志摩,更走出了阿蘭圖靈和辛頓。圖靈提出了著名的問題,如何測試機器有否智能?辛頓卻用一生解決問題。2018年,辛頓和另外兩位人工智能科學家一起拿到圖靈獎。當年的圖靈,何等天才級人物,卻承受巨大精神痛苦,啃下一口塗抹氰化鉀的蘋果就走 了。今天,英國人開始把圖靈的肖像印到50英磅紙幣上。

說回來,很多人對歐美人文化中三一沒有概念,還以為和三一重工意思差不多。

“三一”(Trinity)在基督教教義中指的是“三位一體”,即聖父、聖子、聖靈三位一體,其實是一個純粹的神學概念。英國這些重點大學,除了教室、圖書管就是教堂,神人頻出。

辛頓在愛丁堡大學找到學術歸宿。

愛丁堡太美。神秘的黑色中世紀風,也許會促使人思考源頭和去向問題。電磁學之父麥克斯韋也是最早在愛丁堡學數學和物理的。一百年前,北大懂六門外語的辜鴻銘,上課頭戴舊式禮貌手拿茶壺,幾乎一人和五四革新派對立,他曾在愛丁堡讀的哲學博士。我們那時的北大,從校內吵到校外,既容得下革命派,也能有辜老爺子這樣的保守派。毛澤東在長沙師範讀書時期的老師,楊昌濟是愛丁堡大學哲學系畢業的,楊昌濟十分喜歡毛,後來到北大,把女兒許配給他,給毛在圖書館安排工作。毛改變了中國,毛的思想啟蒙來自於畢業於愛丁堡大學的楊昌濟。

很多人說諾貝爾獎給計算機科學家物理學獎,有點不務正業了。其實,諾貝爾獎並不是第一次給計算機領域,之前有肖克利和貝爾實驗室團隊。1958年,因為發明晶體管獲獎,他的貢獻直接推動了計算機芯片技術。美國硅谷芯片行業的黃埔軍校,應該首推肖克利實驗室,因為科學家不善管理,內部分崩離析,先後出去創辦了仙童去半導體和Intel,提出摩爾定律的摩爾,是他實驗室的員工,也是著名的硅谷“八叛逆”之一。今天的英偉達和臺積電,其實算是他們的徒孫輩。

科學家辛頓在Google工作了十年,做副總裁,最終離開。

並非意見不合,而是因為擔心人類無法控制AI的風險而放棄在企業中的工作,從企業裡離開,是為了可以自由地討論人工智能的風險,而不被企業內政策限制,辛頓成為了一個人工智能領域的批評者。觀察現代歷史,我發現,真正的科學家,一旦進入商業和政治,總是充滿愛恨情仇。同樣的分歧,出現在Ilya和Altman之間,因為“天真”。

請槓精們放過我,這裡我的用詞,乃是一個大大的褒義。

二戰期間,物理學家奧本海默幫助美國軍方製造出原子彈,戰爭結束後,卻一生都在反對繼續氫彈。

他發現,自己用技術改變了世界,但是這項技術在一部分人手裡,隨時能走向失控。奧本海默有很多科研成果,都能申請諾貝爾獎,但是諾貝爾獎怎麼會給一個造原子彈的人。他生命的晚景是痛苦和孤寂的。和奧本海默一樣,辛頓也是這樣的擔憂,他公開批評OpenAI對人工智能安全的漠視,是“資本主義的逐利性”。

如果我們回頭看看,一百多年前科幻作家喬治奧威爾的《時間機器》,就該知道,我們今天,已經是他們筆下的科幻世界了。但是,今天的人類還能夠向前走到多遠,為何失控、幻滅和拯救一直是科幻的主旋律

如果我寫科幻,第一個序章,就是因為兩國大戰,人類被核武器消滅,碳基生命消亡,藏於地下深處的硅基生物人利用光能源和算法,自我升級繁衍,統治地球。我們已經有的大數據,異化為硅基人血液和細胞。今天的地球文明成為星際史前。僅有少數人乘諾亞號去了火星,經過幾代人的努力,準備打回故土。

覺得劇本俗套?

我是凡人。

科學是人類文明階梯以及跳躍演進中的核心組件,本無善惡。但是近代以後科學最早的應用對象,幾乎先用於軍事。

什麼是“科學之心”?我不敢下斷言。像辛頓這樣的科學家不少。他們內心乾淨,好奇心強,專注一件事從不受外界干擾。我能感受到。大科學家,從對一件微小的事物好奇心驅使的探索之愛,最終走向對人類命運的關切之愛。頂尖思維只來自於一個字,愛。其間,常有悲情。

我們常說,好事多磨。

但是可能,大好事要磨盡一生。

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
1
收藏
評論