Karpathy教你值回ChatGPT 200刀「票價」,初創工程師揭秘ChatGPT最核心能力

avatar
36氪
06-03

AI大神Karpathy親授ChatGPT模型使用指南:o3適合處理複雜任務,4o勝任日常提問,代碼寫作用GPT-4.1。Eric Hayes揭秘了ChatGPT背後核心記憶系統,正是這些讓ChatGPT越來越懂你。

ChatGPT你肯定已經用過,也用的很「爽」,但你的使用方法大概率是不對的!

別急,這是OpenAI初創大神Andrej Karpathy說的,「熱衷於」科普AI的他再度出手。

這次Andrej Karpathy用一張圖教會你如何選擇ChatGPT模型!

眾所周知,OpenAI給模型起了一堆名字:GPT-4o、o3、o4-mini、o4-mini-high、o1 pro mode...

簡直看的人眼花繚亂,根本不知道這些模型之間的區別。

甚至因為無法選擇正確的模型,日常使用都無法值回每個月20刀Plus的「票價」,更別說200刀的Pro會員了。

很多人並不知道,ChatGPT的這些模型之間差別很大,比如:

o3是處理重要或困難問題時最好的選擇。

它是一個推理能力非常強的模型,比4o更強大。如果你是專業使用ChatGPT,而沒有用o3,那你大概率會吃虧。

4o和o4是完全不同的東西。

大神Karpathy也不得不調侃,OpenAI這命名是真的混亂。

4o是應對日常簡單到中等難度問題的「日常主力」好選擇。而o4目前只有mini版本,表現不如o3。

這些模型別用!

Karpathy還強調了,像o4-mini、o4-mini-high和o1-pro等模型就別用了,一點好處沒有!

Karpathy說他甚至無法理解OpenAI為什麼現在就把o4-mini放出來了。

AI大神教你玩轉ChatGPT

Karpathy根據他的使用經驗和ChatGPT不同模型之間的區別,給出如下這份「使用指南」。

任何簡單的問題

比如「哪些食物富含膳食纖維?」 => 用4o(大約佔Karpathy使用量的40%)

任何困難或重要的問題,只要我願意多等一會兒

比如「幫我理解這個稅務問題……」) => 用o3(也是大約佔Karpathy使用量40%)

隨意寫代碼或者邊想邊改代碼的時候

比如「把這段代碼改成……」 => 用GPT-4.1(大約10%)

想深入理解一個主題——

希望GPT花10分鐘,查很多鏈接並總結一整套信息。

比如「幫我瞭解Luminar的興衰歷程」 => 用Deep Research(大約佔10%)

注意:Deep Research不是模型選擇器裡的一個版本(!!!),它是在Tools工具裡打開的一個功能。

從底層來說它是基於o3的,但Karpathy認為它和直接用o3還是不完全一樣(雖然Karpathy也不太確定)。

如果你掌握Karpathy給出的模型正確用法,你會發現ChatGPT真的越來越好用。

而且用的越多,你就會發現ChatGPT越來越懂你,就好像他化身你的「賈維斯」,記住了你平時的一切。

在這背後其實是因為ChatGPT擁有超強的記憶力,而這也是為何ChatGPT命名如此「混亂」的前提下,大家仍然愛用,並且是周活最高的AI工具,沒有之一。

揭秘ChatGPT「超強記憶力」

ChatGPT變得越來越懂你,似乎能記住你過去的偏好,甚至跨越多個對話還能聯繫上下文。

這背後可不只是簡單的上下文窗口,而是一套複雜且精妙的記憶系統在運作。

近日,一位來自初創公司的工程師Eric Hayes通過一篇博客,揭秘了ChatGPT背後複雜的記憶系統。

今天,就跟隨Eric Hayes來深入解析這套讓ChatGPT脫穎而出的「記憶魔法」!

ChatGPT的記憶系統使其體驗遠遠優於其他大語言模型(LLMs)。

這主要得益於它將記憶系統分為兩大類:「保存記憶(Saved Memory)」和「聊天曆史(Chat History)」。

保存記憶(Saved Memory)

想象一下,你告訴ChatGPT你的喜好,它就能牢牢記住。這就是「保存記憶」的功能。

這是一個簡單、用戶可控的系統。你可以通過明確的指令,例如「記住我是一名軟件工程師」或「當我推薦食譜時,請記住我是素食主義者」,來更新這些記憶。

這些記憶會以事實的形式被注入到系統提示中,影響後續的對話。例如,你可以讓ChatGPT記住你喜歡簡潔的回答,或者你是一名Rust編程專家,它就會根據這些偏好來調整回應。

ChatGPT提供了一個簡單的用戶界面,讓你查看和刪除這些記憶。你也可以通過指令要求ChatGPT刪除已保存的記憶。

這個功能還可以智能識別。它會進行最小程度的重複和矛盾檢查。

例如,如果你告訴它「我是一名軟件工程師」,它可能會保存;但如果你說「我不是軟件工程師」,它會拒絕並要求你澄清。

不過,對於高度相關但不同的信息(如「軟件工程師」、「前端工程師」),它是允許並存的。

這個系統通過一個名為「bio tool」的工具來實現,Eric Hayes逆向了ChatGPT的記憶系統,發現這個名為bio的方法。

聊天曆史(Chat History)

「聊天曆史」系統比「保存記憶」複雜得多,它可能才是提升ChatGPT響應能力的關鍵。它又可以細分為三個子系統:

1. 當前會話歷史(Current Session History)

這就像是機器人短暫的「短期記憶」。它記錄了用戶在當前會話中最近的消息。

這個記錄很小,只包含最近一天的消息,通常少於10條。

它可以直接引用用戶在當前會話中發送的消息。

2. 對話歷史(Conversation History)

這個系統負責記住你與ChatGPT過去對話中的相關上下文。

並且可以進行跨對話記憶,ChatGPT能夠引用你在其他對話中發送的直接消息。

Eric Hayes在測試中發現,ChatGPT可以準確引用兩週內的消息。

超過兩週後,它通常只能提供你消息的摘要,而不是直接引用。

消息檢索是通過「對話摘要」和「消息內容」進行索引的。

這意味著即使你記不清具體詞句,只要描述內容或對話主題,ChatGPT也能找到相關信息。

對於更久遠的對話,系統可能會存儲推斷出來的信息,提供更小、更不具體的上下文。

3. 用戶洞察(User Insights)

這可能是ChatGPT最強大、最「聰明」的記憶形式!

它是「保存記憶」的更高級、更不透明的版本。

這些洞察是系統通過分析用戶在多個對話中的行為和提問自動生成的。它們會包含時間範圍和置信度。

用戶洞察能夠捕獲你的專業領域、興趣偏好、提問風格等深層信息。

例如,它可能會記錄你「對Rust編程有豐富的經驗和知識」或「偏愛簡潔的回答」。

通過這些詳細的洞察,ChatGPT能夠最小化令人沮喪的交互,並以用戶容易理解的方式呈現信息。

Eric Hayes認為用戶洞察系統可能是ChatGPT感知智能提升的80%以上的原因!

Eric Hayes還發現這些洞察可能並非實時生成,而是通過批處理(例如每週運行一次的定時任務)來更新。

它通過將用戶查詢建模為聚類優化問題,從而從大量歷史消息中提取出獨特的、有用的洞察。

這對用戶體驗意味著什麼?

正是這些複雜的記憶系統,讓ChatGPT在使用時感覺如此「好用」!

保存記憶讓你直接設定偏好,讓ChatGPT為你量身定製回應。

用戶洞察則自動化了這一過程,即使你不明確告知,ChatGPT也能根據你的歷史行為自動調整其回應,提供更貼切的解釋,避免重複提問。

聊天曆史系統確保了對話的連貫性,讓你在回顧舊話題時,ChatGPT依然能維持對先前互動的共享知識,避免重複、循環或矛盾的交互。

可以說,ChatGPT的記憶系統超越了簡單的上下文窗口,通過分層、智能地存儲和檢索信息,極大地提升了用戶體驗,讓它感覺更像是一個能夠學習和成長的智能夥伴。

參考資料

https://x.com/karpathy/status/1929597620969951434

https://macro.com/app/md/54115a42-3409-4f5b-9120-f144d3ecd23a

本文來自微信公眾號“新智元”,作者:定慧,36氪經授權發佈。

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論