距離DeepSeek顛覆AI世界已經過去一週多了。它推出的開放權重模型——顯然是在使用行業領導者所需的專用計算晶片的一小部分進行訓練——在OpenAI內部引發了震波。不僅員工聲稱看到了DeepSeek"不當提取"OpenAI模型以建立自己模型的跡象,但這家初創公司的成功也讓華爾街質疑像OpenAI這樣的公司是否在計算能力上過度投資。
"DeepSeek R1是AI的Sputnik時刻,"矽谷最有影響力和最具挑釁性的發明家之一Marc Andreessen在X上寫道。
作為回應,OpenAI正準備提前於原定計劃推出一個新模型。這個名為o3-mini的模型將在API和聊天中首次亮相。訊息人士稱,它擁有o1級別的推理能力,但速度是40倍。換句話說,它又快又便宜,又聰明,旨在壓倒DeepSeek。
這一時刻激勵了OpenAI員工。在公司內部,人們感覺到,特別是隨著DeepSeek主導了對話,OpenAI必須提高效率,否則將落後於它的最新競爭對手。
這個問題的一部分源於OpenAI最初作為一個非營利性研究機構,後來才成為一個追求利潤的強大公司。員工聲稱,研究和產品團隊之間的持續權力鬥爭導致了從事高階推理和從事聊天的團隊之間出現裂痕。(OpenAI發言人Niko Felix表示這是"不正確的",並指出這些團隊的負責人,首席產品官Kevin Weil和首席研究官Mark Chen,"每週都會見面並密切合作,以協調產品和研究優先事項。")
一些OpenAI內部人士希望公司建立一個統一的聊天產品,一個可以判斷問題是否需要高階推理的模型。到目前為止,這還沒有發生。相反,ChatGPT中的下拉選單提示使用者決定是否要使用GPT-40("適用於大多數問題")或o1("使用高階推理")。
一些員工聲稱,儘管聊天帶來了OpenAI大部分收入,但o1卻得到了更多關注和計算資源。"領導層不關心聊天,"一位從事聊天工作的前員工說。"每個人都想研究o1,因為它很性感,但程式碼庫不適合實驗,所以沒有動力。"這位前員工要求匿名,理由是簽有保密協議。
OpenAI花了多年時間試驗強化學習,以微調最終成為名為o1的高階推理系統的模型。(強化學習是一種透過獎懲系統訓練AI模型的過程。)DeepSeek利用OpenAI在強化學習方面的開創性工作,創造了自己的高階推理系統R1。"他們從知道將強化學習應用於語言模型是有效的中獲益,"一位不被授權公開談論該公司的前OpenAI研究員說。
"DeepSeek做的強化學習與我們在OpenAI做的類似,"另一位前OpenAI研究員說,"但他們使用了更好的資料和更清潔的技術棧。"
OpenAI員工表示,o1的研究是在一個名為"berry"的專注於速度的程式碼庫中進行的。"有取捨——實驗嚴謹性換取吞吐量,"一位對此有直接瞭解的前員工說。
這些取捨對於本質上是一個巨大實驗的o1來說是合理的,儘管程式碼庫存在侷限性。但對於由數百萬使用者使用的聊天產品來說,這就不太合適了,它是建立在一個更可靠的技術棧上的。當o1推出併成為一個產品時,OpenAI內部的流程開始出現裂痕。"就是說,'為什麼我們要在實驗性程式碼庫中做這件事,我們不應該在主要產品研究程式碼庫中做嗎?'"這位員工解釋說。"內部有很大的反對聲音。"
去年,公司內部啟動了"Sputnik"專案——努力梳理程式碼,確定哪些部分應該合併,哪些部分應該保持分離。
員工認為,這個專案並沒有完全實現。相反,員工被鼓勵簡單地優先使用"berry"技術棧,這讓一些從事聊天工作的人感到憤怒。OpenAI發言人否認了這一點,並表示Sputnik專案已經成功部署。
據訊息人士說,程式碼庫的問題造成了實際後果。理想情況下,在員工啟動培訓作業後,參與該作業的GPU就會被釋放,供其他人使用。但berry程式碼庫的結構使得這並不總是發生。"人們就會佔用GPU,"一位前員工說。"出現了僵局。"
在OpenAI之外,業界對如何解讀DeepSeek的成功存在分歧。本週早些時候,英偉達的股價暴跌,因為投資者擔心行業嚴重高估了從事AI所需的晶片數量。
但專家表示,這種解讀過於短視。如果DeepSeek確實發現了一種更高效的模型開發方式,它可能會加速模型開發過程,但最終勝出的仍將是擁有最多晶片的公司。
"你確實需要更少的計算能力來獲得同等的智慧,但人們仍然會想要更多的單元來進一步擴大規模,"曾在OpenAI工作6年,最近擔任AGI準備高階顧問的獨立AI政策研究員Miles Brundage說。
也許OpenAI的閃亮新基礎設施專案Stargate,將緩解內部的稀缺感。正在建造Stargate首個數據中心的公司Crusoe,已經在德克薩斯州阿比林開始建設一個998,000平方英尺的設施,據公司發言人Andrew Schmitt介紹。
儘管該專案的細節不太透明,但我被告知它可能會擴充套件到更多資料中心、晶片製造和超級計算機。OpenAI計劃任命一位新CEO來領導這個專案——至少在理論上是這樣。
現任CEO Sam Altman"擅長承諾未來會發生什麼。但到了未來,這些事情就完全不可靠了,"另一位前員工說。
2023年,Steven Levy在《連線》雜誌上提供了OpenAI內部的深度報道,涵蓋了它在各種備受關注的動盪之前的情況。即便在那時,如今爆發的緊張局勢也已經顯而易見。
將OpenAI稱為一個教派並不公平,但當我問公司高層是否有人可以在不相信人工通用智慧(AGI)確實即將到來並將標誌著人類歷史上最偉大時刻之一的情況下,舒適地在那裡工作時,大多數高管都認為不可能。為什麼一個不信教的人會想在這裡工作?他們疑惑。假設是,這支隊伍——現在大約有500人,儘管在你開始閱讀這段話時可能已經增加——只包括信徒。至少正如Altman所說,一旦你被錄用,似乎就不可避免地會被吸引進這個魔咒。
與此同時,OpenAI已經不再是當初的公司了。它最初是一個純粹的非營利性研究機構,但如今大部分員工實際上為一個據報道估值近300億美元的營利性實體工作。Altman及其團隊現在面臨著在每個產品週期都交付革命性成果的壓力,以滿足投資者的商業需求,並在激烈的競爭格局中保持領先地位。同時還要堅持一種半救世主式的使命,即提升人類而不是消滅人類。
這種壓力——更不用說整個世界的無情關注——可能是一種削弱力量。披頭士引發了巨大的文化變革,但他們的革命只維持了六年:從奏響那個難忘的和絃開始,他們就不再是樂隊了。OpenAI釋放的這場風暴幾乎肯定會更大。但OpenAI的領導人發誓要堅持下去。他們所要做的,他們說,就是建造足夠智慧和安全的計算機,以推動人類進入一個難以想象的豐裕時代。
一架客機在週三晚上撞擊了華盛頓特區的一架軍用直升機。
DeepSeek將一個核心資料庫暴露在外,洩露了100萬條記錄,包括使用者提示和API身份驗證令牌。
埃隆·馬斯克告訴朋友,他一直在DOGE辦公室附近的白宮睡覺。
毫不意外的是,埃隆·馬斯克的走狗已經開始接管美國人事管理局。
