Karpathy 分享了他如何構建本地的 AI 知識庫
跟我用的方法也很相似,但還是有很多可以借鑑的地方,推薦看看。
都是用的 Obsidian,純本地 MD,然後用一些反向鏈接、索引的方式把它們連起來。
他構建了一個用大語言模型驅動的個人 Wiki 知識庫,然後把原始資料都丟進一個叫 RAW 的目錄。
然後讓大語言模型把這些原始資料編譯成一個 Markdown Wiki,實現以下功能:自動創建摘要、創建索引、創建概念條目、添加相互鏈接、生成可視化等等。
我是在內容收集的時候就已經做好了,用的是 Obsidian 的那個剪藏插件。
在收集內容的時候,AI 就會自動進行以下處理:打標籤、自動總結、翻譯、創建摘要,目前就是還沒有反向鏈接。
然後它的 Wiki 構建好以後,就可以在這個 Wiki 上提問,確保數據來源的可置信度。
比如說大語言模型會自己查索引、讀相關的文檔,寫出回答或者報告,不只是在網頁上搜。這樣的話,它獲取的信息基本上都是跟你相關的。
然後它的輸出也儘量不是一句話,而是新的文件、新的可視化網頁或者是 PPT,然後再回歸到知識庫裡,讓知識庫越用越厚。
但這個會造成一個問題,就是 Obsidian 的作者也說了,這會汙染知識庫。所以最好把可靠性來源和 AI 生成的東西分開放。
還有一個比較好的點是,它會讓大模型對 Wiki 做健康度檢查。比如:找一些自相矛盾的地方、補發一些缺失的信息、發現一些新的關聯、提高一致性。
其實現在很多人都是這樣做的,我也把這套理念放到了 CodePilot 裡。
關於助理文件夾的選擇,我一般建議使用 Obsidian 文件夾。
如果你有自己的 Obsidian 文件夾,進去以後 AI 就會直接獲取你所有的上下文和知識。
比如這裡我就讓他從我的 Obsidian 文件夾和網絡同時找了一些關於 AI 時代的 UI 設計原則的文章,質量非常高。
這樣一來,你直接就能獲得一個擁有完整記憶的 AI 助理。
如果你不知道怎麼實踐的話,推薦用 Codepilot 的助理試試。
把你的 Obsidian 文件夾放進去,讓它幫你整理,同時讓它把這些原則寫到 Claude.md 裡面。

Andrej Karpathy
@karpathy
LLM Knowledge Bases
Something I'm finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating



香蕉🍌做的圖

歸藏(guizang.ai)
@op7418
用香蕉做一张图片,来解释 Karpathy 的方法和我的方法之间的一些区别和共性 x.com/op7418/status/…

來自推特
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
收藏
評論
分享





