本文涵蓋所有頂級資料工具以及瞭解如何從資料分析師的角度使用它們。
撰文:Andrew Hong,Dune Analytics Headmaster
編譯:DeFi 之道
圖片來源:由 Maze AI 生成
又是一年過去了,卻感覺像過了十年!在閱讀本文前,我建議可以先檢視我的 2022 年指南,因為大多數概念仍然與背景相關。今年的工具指南同樣涵蓋了三大支柱,但與往年相比有著新的視角:
- 工具:根據效用組織資料工具
- 思考:關於加密資料的可組合性和噪聲
- Teams 分析師:建立 web3 嚮導的形象
由於這個領域變得更加複雜,我將指南分為三個部分。這個部分僅涵蓋 web3 資料工具,特別是在資料分析的背景下。
關於資料工具:
每個工具——無論它們最初是作為索引器、瀏覽器、記分器、查詢引擎等,現在都包含帶有一些 API 支援的原始查詢和聚合查詢。因此,我不再將資料工具視為技術堆疊,而是將其視為實用程式堆疊。
這意味著所有工具在它們適合的分析過程中都有一些“用例”,從而形成一個堆疊。我在下圖中列出了我所知道的頂級工具!然後我將在實用程式層的基礎上簡要地解釋每個工具。
一些免責宣告:
- 我目前在 Dune 全職工作。
- 🧪 表示這部分產品目前仍處於內測階段。因此,你需要向團隊申請訪問許可權。
- 我選擇不在這部分的分析中包括純粹的 API 產品,因為現在每個工具都擁有一個 API,其中混合了原始/解碼/聚合資料。我不能在這裡合理地涵蓋所有的產品。如果你想了解一些增強型 API 的發展方向,請檢視這篇文章。
- 實際上,如 Dune 等查詢儀表板提供商可以支援這裡的所有部分功能。然而,基於查詢的儀表盤還不能與特定部分的專用應用程式的 UX(功能迴圈和低延遲)相比,因此本文並沒有將它們包括在內。
發現:查詢並比較高階趨勢
所有的旅程都從某個地方開始。我使用本節中的幾個工具來研究一個主題,並發現我想進一步探索的趨勢。找到正確的問題進行分析是 web3 最困難的部分之一,而使用這些工具可以讓它變得容易得多。
💡 OurNetwork 和 Dune Digest 是鏈上分析 alpha 的兩個最佳新聞聚合器。在本節中,我對各種工具的許多發現之旅都始於它們的文章。
協議/域
要根據各種指標瞭解協議(或域)的執行情況,你可以參考以下這些工具的其中之一。
- Dune 可用於為 erc20 、NFT 、質押、空投、拍賣等查詢細化儀表板。它具有一個本機搜尋功能,可以對儀表板、嚮導和查詢進行排名。
- Flipside 可用於發現資料科學的文章和研究,如流動資金池 PnL 、錢包排名等。他們目前正在對較新的儀表板功能進行 Beta 測試。
- DefiLlama 在 TVL、數量和收益率方面具有高階趨勢。你可以在他們的 2022 年回顧中找到一些頂級示例。
- Messari protocol/pool board 是 DefiLlama 的一個很好的替代品,並且正在快速增長。
- Token Terminal 使協議(dapps)或鏈的收入、收益和費用的傳統分析變得容易。
- Artemis 擁有最好的鏈開發/社交活動圖表,幷包括概述鏈指標。並且它們與 google sheet 很好地結合在一起。
代幣
雖然你可以使用更多定製的查詢儀表板(如之前連結的那些)來深入研究代幣,但你可能需要更優化的產品介面來使發現和比較過程更快、更容易。
- Nansen 的 Token God 模式和代幣(defi/NFT)paradise 提供對分佈、交易和錢包趨勢的洞察。
- DefiLlama 允許你密切分析代幣對的交易量和流動性深度。
- Parsec 通過可定製的終端對代幣進行彭博風格的分析。
DAO/治理
治理對於跟蹤趨勢越來越重要,因為協議更改/更新變得更加頻繁,而金庫需要投資或花費資金。
- Messari :通過在它們的治理瀏覽器中標記討論、重要性、治理流程和子 DAOS 來提供對提案的見解。
- Tally :隨著時間的推移,投票權是對 DAO 的一個很好的開始概述,並且它們具有用於查詢 DAO的按鏈篩選功能。
- Boardroom :有一個很好的可過濾的所有 DAO 提案的提要,儘管我希望有更多的引數可以過濾(即價值超過 20,000 美元的提案)。
- Agora :目前它僅適用於 Nouns,但是對於瞭解選民概況和代表目標非常有用。
探索:快速檢視地址和交易以獲得詳細背景
一旦你發現了一些有趣的趨勢,你可能想要弄清楚常見的交易是什麼樣子的,以及所有交易背後的錢包/地址是什麼。
這是你擴大範圍以確保你不會遺漏任何有助於分析的背景線索的步驟。而在這一步驟中,你可能會開啟 20 個不同的選項卡。
💚 我構建了一個儀表板,可以很容易地深入到任何合約地址並瞭解協議是如何工作的。
交易視覺化工具
交易可以是任何東西,從簡單的 ETH 轉移到稍微複雜一點的槓桿曲線(leveraged curve) stETH/ETH 保險庫。在此過程中,我們通常需要跳過交易、跟蹤、日誌、合約程式碼、狀態資料。
- Blocksec/Phalcon 非常適合研究交易中的跟蹤和日誌。它們清楚地說明了所有內部呼叫和事件的發出順序。其最新更新為該工具新增了程式碼片段和平衡流程圖。
- Tenderly 多鏈瀏覽器包含了最快的跟蹤 <> 程式碼片段偵查,以及其他功能。它擁有所有工具中最流暢的 UX/UI,但是它可以通過事件日誌跟蹤和程式碼片段做得更好。
- Blocknative 是 mempool(交易佇列)的專業瀏覽器。你可以在此處實時監聽提交給任何合約的交易。
地址/錢包視覺化工具
對於這些工具,輕鬆快速搜尋、交叉分析、組合和共享錢包餘額和活動是關鍵。雖然還有更多“投資組合”風格的應用程式,如 zapper.fi 和 rotki ,但這些應用程式都不利於資料分析工作,因此沒有直接包含在這部分內容中。
- Nansen 加強了標籤,並推出了一個與它們的代幣分析頁面完美匹配的錢包分析器。
- 當涉及到分析多個鏈上的錢包時,Zerion 和 Debank 是 Nansen 的最佳免費替代品。
- Warden 允許以易於搜尋的格式對錢包進行特定於 DeFi 的分析(清算、借貸等)。他們支援 Aave,很快將會支援 Euler、Notional 和 Compound。我猜想這種工具明年將需要有自己的部分,因為它會引發一波重度的 DeFi 分析探索者浪潮。
- 一旦你記住了一些代幣,Bubblemaps 將有助於你識別有趣的錢包叢集和連線。
混合(交易+地址/錢包)
這些是用於探索的一體式解決方案。這將成為一個更加擁擠的領域,將催生出該領域一些最強大的通用產品——下一個谷歌很可能從這裡開始。
- Etherscan 非常適合快速獲取單個地址的概況。我通常將其用於標籤並快速檢查特定代幣(對於一個給定錢包)的餘額和歷史轉賬。他們還有最基本但易於理解的交易概述。
- 🧪 Onceupon.gg 是分析師的夢想。它們支援無限水平滾動的迷你視窗,並在特定代幣和實體的背景下,按方法和來源(包括跟蹤)快速過濾所有交易。在你點選進入之前,每筆交易都以人類可讀的方式進行標記和描述。錢包和視窗分組可以輕鬆共享和消化。最重要的是所有地址都有一個“鄰居”選項卡,用於快速識別頂級交易對手,並使用一個圖形網路視覺化來補充你的分析。
- 🧪 Arkham 是最專注的網路和交易對手分析工具。你可以輕鬆檢視個人/團體之間的交易對手/交易所和餘額,並輕鬆按交易細分轉賬的流入/流出。它們的圖形網路工具使 zachxbt 風格的偵查比以往任何時候都更容易——你可以輕鬆調整時間尺度以檢視特定錢包在特定時間段內的關係。
自託管
這些選項允許你在本地執行開源區塊瀏覽器,也是混合解決方案。
- Otterscan:基本功能與 etherscan 相當(大致)。
- Trueblocks Explorer :最快的帳戶歷史記錄抓取器(可能)。核心項目在下一節。
挖掘:為鏈上資料編寫自己的查詢
所有 SQL 引擎都是基於雲的,因此你可以使用瀏覽器內的 IDE 來查詢原始資料和聚合資料(如 nft.trades/dex.trades)。這些還允許定義很好的表格,例如 NFT 清洗交易過濾器。
最好的協議、社群和代幣分析從這裡開始! 一些引擎有更多的專業表,我會列出來。
可用的免費層 (SQL)
可以免費訪問這些引擎。
- Transpose (25 秒免費限制,頂級計劃最多可延長 10 分鐘)。
- Flipside(15 分鐘免費限制,無計劃)。目前唯一具有儲存/狀態表的,由 TokenFlow 提供。
- Footprint(20 分鐘免費限制,付費計劃可擴充套件計算)。我見過的唯一一個以 gamefi 為中心的聚合。
- Dune (30 分鐘免費限制,付費計劃可擴充套件計算)。唯一一個有解碼錶的工具,所以你不必處理原始十六進位制/bytea 轉換、函式/主題簽名過濾或代理/工廠模式。
僅限付費(SQL)
僅當你使用付費計劃並獲得批准訪問時,才能訪問這些引擎。
- 🧪 Nansen 目前正在測試他們的新查詢引擎。你終於可以查詢它們的實體/地址標籤表了!
- Goldsky 允許將子圖從 theGraph (或建立新子圖)遷移到它們的託管服務。你可以輕鬆組合子圖,解決 theGraph 的一大缺點(儘管失去了去中心化)。
- Covalent Increment 有一個巨大的表,可以從中查詢所有原始資料,並且最近開始新增聚合資料。
自託管
這些都是程式碼包,可讓你快速獲取原始資料、解碼資料和聚合資料(使用給定鏈的一些 RPC 提供程式)。好處是,如果你執行更高效的客戶端(特別是 Erigon ),你可以更快地探索更多資料。
請注意,Erigon 需要一週的時間來同步,並且你的驅動器上需要有 > 2TB 的空間;將來可能會更快。
Python:
- web3.py:在以太坊上輕鬆使用合約 ABI 和節點提供商(客戶端)的首批軟體包之一。
- ethereum-etl :Nansen 和 google Bigquery 使用它來獲取特定塊範圍的鏈。可以輕鬆匯出到不同的資料庫或檔案型別。
- checkthechain :唯一在 web3.py 的基本功能之上具有域聚合(如 uniswap 池)的包。為資料科學家定製。
- Ape 在成為更安全的 vyper 解決方案之前曾經是這樣的。
- mev-inspect-py:按區塊查詢 MEV 資料(即礦工付款/利潤、掉期、套利等)。這個 flashbots 資料也可以在 Dune 中找到。
Golang:
- trueblocks-core:這個工具可以非常快速地獲取任何地址的交易歷史。在上面的資源管理器中視覺化。
Javascript/Typescrip:
- web3.js:原始的 web3 指令碼包。與以太相比,這裡的許多方法/模式現在被認為過於冗長。
- ethers.js/ts:更高效/精簡的 web3 指令碼包,廣泛用於前端和智慧合約測試套件,如 truffle 和 hardhat。
Rust
- ethers-rs:我相信主要是為了與 foundry 合作而建立的(比如 ethers.js <> hardhat)。
定義:建立可信的指標和聚合
原始資料很好,但要獲得更好的指標,你需要能夠跨不同協議的合約對資料進行標準化和聚合。一旦你有了聚合,你就可以建立新的指標和標籤來增強每個人的分析。
這一層社群擁有最深入的 web3 領域、技術和背景知識組合。
協作
所有定義的檢視都是開源的,你可以貢獻自己的程式碼/與其他分析師協作。
- Dune 允許建立你需要的任何模型,其中所有鏈都在一個 repo(儲存庫)中。已經有 300 名貢獻者(社群 + 團隊成員的組合)。
- Flipside 允許建立你需要的任何模型,其中每個鏈都有自己的 repo 。
- DefiLlama 允許對一組預定義的指標做出任何貢獻,並且通常是基於子圖構建的。
- theGraph 允許任何人建立 graphQL 模式和對映,僅限於特定網路,通常一次只能使用一個協議(即定義的合約)。Messari 以更有條理的方式構建在它們之上(即像 Dune/Flipside/DefiLlama repo)。
- 🧪 Goldsky 基本上是 theGraph,但僅適用於私人/付費客戶,並用 SQL 編寫。
上一節中有一些查詢提供程式定義了自己的聚合,但它們不是開源的,你不能自己新增到它們中。
期待未來
總而言之,Web3 資料工具正變得更簡潔、更可信、更具社交性和協作性。基礎設施正在不斷髮展,以便我們都可以更快地查詢和定義更好的指標,改進我們可以在產品中發現和探索的內容。整個生態系統就像一個“大飛輪”,而這個小社群最終建立在一起,使資料流動起來。需要強調的是, web3 資料本質上都是社交的!
這只是我 2023 年指南的第一部分,後續其他部分將更具體地針對分析師,並且更具技術性。