隨著人工智慧自主研究取得可衡量的成果，並引發關於自主系統的問題，各實驗室正在重新思考人工智慧研究工作流程。
最近幾週，安德烈·卡帕西 (Andrej Karpathy) 的一項病毒式實驗，使人工智慧自動研究從一個利基概念變成了人工智慧研究界的熱門話題。
卡帕西的自我研究概念的起源
本月初，著名人工智慧研究員、 OpenAI的創始員工之一Andrej Karpathy在 X 上分享了一個引人注目的實驗。他後來擔任特斯拉的人工智慧主管，現在獨立運作Eureka Labs ，這是一個為人工智慧時代打造新型學校的計畫。
卡帕西在X平台上擁有190萬粉絲，影響力巨大，幾乎任何關於人工智慧的評論都能迅速傳播。然而，他最新的這篇文章卻格外引人注目，因為它展示了他建立的用於自動化研究的實用系統，他將其命名為「自動研究」（autoresearch） 。這理念迅速激發了實踐者和理論家的想像。
在實驗中，Karpathy部署了一個AI編碼代理來運行一系列旨在改進小型語言模型訓練的測試。在連續兩天的時間裡，該代理執行了700次實驗，系統地探索訓練配置以找到更優的設定。
在這些實驗中，該智能體發現了20 種能夠提高訓練效率的最佳化方法。此外，當 Karpathy 將這 20 種最佳化方法應用到一個規模更大（儘管仍然相對較小）的語言模型時，他記錄到訓練速度提高了 11% 。這一切實的提升凸顯了他方法的實際應用潛力。
從實驗室演示到潛在的新研究範式
Karpathy 將該框架描述為一個用於程式碼和模型優化的通用研究引擎。至關重要的是，他強調，自動研究代理並非調整自身，而是調整另一個規模較小的 AI 模型的訓練程式碼和初始神經網路參數。這種區別對於安全討論至關重要，即便它對研究工作流程的影響深遠。
他認為，這類工具可以重塑頂尖實驗室進行人工智慧研究的方式。 「所有LLM前沿實驗室都會這樣做。這是最終的決戰，」卡帕西在X上寫道。然而，他也承認，將這個理念從一個630行的Python專案擴展到規模大幾個數量級的前沿模型程式碼庫，會帶來巨大的複雜性。
卡帕西仍然將挑戰定義為工程問題，而非概念上的障礙。他認為，實驗室將啟動大量智能體，讓它們協作調整小型模型，然後逐步將最有前景的想法推廣到更大規模。他建議，人類可以「選擇性地」在邊緣地帶提供幫助，進行指導和評估，而不是手動編寫每一個修改的程式碼。
目前，他的實作方案專注於單一智能體沿著一條路徑迭代改進程式碼庫。但未來，他期望多個人工智慧智能體能夠並行探索不同的假設和實驗。他寫道，自主研究的下一步是發展成為一個非同步、大規模的智能體協作環境，旨在模擬研究社群，而非單一博士生。
行業反應和 Shopify 測試
當Shopify聯合創辦人兼執行長Tobias Lütke決定用公司數據測試這套系統時，實驗很快就超越了理論階段。 Lütke 在 X 雜誌上透露，他利用這套系統優化了一個內部 AI 模型，指示該智能體同時提升品質和速度。這使得該概念在企業應用上變得切實可行。
據呂特克稱，該程式運行一夜後進行了37次實驗，性能提升了19% 。儘管如此，他並未公佈完整的技術細節，但這一結果足以令人振奮，並引發人們對其商業影響的進一步猜測。
Karpathy後來指出，任何評估效率合理的指標都可以成為這種智慧體群的目標。此外，他還指出，如果某個指標有更經濟的替代方法，例如訓練一個較小的網路而不是一個大型網絡，那麼它仍然可以被納入考慮範圍。他敦促技術人員思考他們自身的最佳化問題是否也屬於這種情況。
與自我提升人工智慧的夢想和恐懼相關的聯繫
真正引起公眾關注的是，它與人們長期以來討論的「自我改進型人工智慧」的概念極為相似。科幻小說經常描繪能夠重寫自身程式碼的系統，有些現代研究人員渴望擁有這種能力，而有些人則對此感到擔憂。遞歸式自我改進的概念在人工智慧安全領域尤其具有影響力。
在這些討論中，一個關鍵的擔憂是人工智慧可能會不斷循環優化自身的架構和訓練資料。經過多次循環，這可能會引發一些安全研究人員所說的「硬起飛」或「智慧爆炸」。在這種情況下，人工智慧可能會迅速超越人類的認知能力，使得維持有效的控制變得困難甚至不可能。
然而，Karpathy 的方案與那種理想化或令人擔憂的景象並不完全相符。他使用的智能體並沒有修改自身的訓練流程或改變其內部結構，而是重寫了另一個更簡單模型的訓練程式碼和神經網路設定。這種分離使得目前系統仍遵循著更傳統的最佳化範式，儘管其發展方向已然清晰。
儘管如此，許多觀察家將這項工作解讀為實驗室最終如何建構更自主系統的雛形。此外，透過使基於智慧體的實驗看起來既易於操作又行之有效，該專案有望加速類似架構的普及，包括更高級的智慧體系統最佳化循環。
Karpathy循環和廣義代理模式
一些分析師指出，該專案背後的核心模式可以抽象化並重複使用。 Janakiram & Associates的首席分析師Janakiram MSV在科技媒體The New Stack上撰文稱，Karpathy 實際上定義了一個可重複使用的循環。他將其命名為“Karpathy 循環” ，並建議將其作為更廣泛的代理系統的模板。
根據 Janakiram 的說法，該循環包含三個基本要素。首先，智能體必須能夠存取並自由修改一個檔案。其次，它需要一個客觀可測試的指標來進行最佳化。第三，每次實驗必須有固定的時間限制，從而約束智能體在報告結果之前執行給定試驗的時間長度。
他還強調，Karpathy 嵌入在其設定檔中的指令為如何與任何 AI 智能體互動提供了一個強而有力的模型。這個純文字檔案詳細規定了智能體應該做什麼、應用了哪些約束、哪些內容不能觸碰以及停止條件。此外，它還精確定義了每個循環的運行時間以及智能體何時必須停止並總結結果。
評論人士認為，這種精準的指令設計方式正成為一項至關重要的技能。儘管底層模型功能日益強大，但有效的控制仍然依賴人類編寫清晰、結構化的指令，使智能體的自主性與具體的目標和界限保持一致。
自動研究與現有 AutoML 方法的比較
並非所有人都認為卡帕西的研究是一項突破。一些批評者指出，他實際上只是重新發現了AutoML的部分元件，而 AutoML 是一套Google 、微軟和其他人工智慧實驗室多年來一直在使用的技術。 AutoML 框架也會執行迭代實驗，以尋找更優的資料、架構和超參數。
傳統的 AutoML 系統嚴重依賴自動化優化循環和搜尋策略。它們探索模型架構、調整超參數，有時也會使用隨機變化或演化演算法來選擇訓練資料。然而，它們通常不包含能夠閱讀研究論文、設計新假設並根據論文內容編寫任意程式碼的 AI 代理程式。
卡帕西反駁了那些淡化差異的比較。他指出，諸如神經架構搜尋之類的方法，正是作為一種自動化模型設計方式而出現的。在他看來，與能夠推理代碼、從過往試驗中學習並從互聯網獲取資訊的智能體相比，這種技術的早期形式顯得較為薄弱。
他將傳統的神經架構搜尋描述為「一種弱化版的搜尋方法，相較之下完全無用」。此外，他還強調，他的系統使用大型語言模型來編寫任意程式碼、解讀先前實驗的結果並動態調整策略，使其比傳統的自動機器學習神經架構搜尋流程靈活得多。
展望智能體集群及其更廣泛的影響
隨著關注度的提升，一些研究人員正在探索如何將 Karpathy 的自動研究實驗概念擴展到完整的智慧體群集。他們的願景是建立一個由專業智能體組成的網絡，這些智能體能夠劃分任務、交叉驗證結果並提出新的方法，而人類則負責設定高層目標和規則。這有望徹底改變學術界和工業界的 AI 工作流程。
然而，智能體集群規模的擴大引發了關於安全性、可靠性和治理的許多問題。一些關注遞歸式自我改善風險的觀察家警告說，隨著這些系統獲得更大的自主權和對關鍵基礎設施的影響力，嚴密的監管至關重要。在每個升級階段，都必須維持穩健的評估指標和人工審核。
目前，Karpathy 的專案仍然相對局限，僅展示了語言模型如何在規模較小的程式碼庫上進行自主研究代理實驗。然而，像 Lütke 這樣的業內人士以及分析師的反應表明，這種潛在模式可能會迅速蔓延，模糊人類研究人員和自主代理群體之間的界限。
總而言之，Karpathy 的自主研究工作表明，單一配置良好的智能體可以在幾天內（而非幾個月）發現可衡量的效能提升。此外，隨著實驗室將這些技術應用於更大規模的模型和多智能體集群，它們可能會釋放出強大的新功能，同時也可能加劇關於自主性、控制以及人工智慧研究未來方向的長期爭論。
