谷歌釋出了一款沒人要求但每個人都想嘗試的新應用。
悄然於5月31日推出的AI Edge Gallery，直接將人工智慧放在你的智慧手機上——無需雲端、無需網際網路，也不會與大型科技公司的伺服器共享資料。
這款在Apache 2.0許可下發布的實驗性應用——允許任何人幾乎可以用於任何用途——現已在GitHub上提供，目前支援Android平臺。iOS版本即將推出。
它可以完全離線執行Google的Gemma 3n等模型，僅使用手機硬體處理從影象分析到程式碼編寫的各種任務。
而且出奇地好用。
這款目前似乎針對開發者的應用包含三個主要功能：AI聊天用於對話、Ask Image用於視覺分析，以及Prompt Lab用於單次任務，如文字重寫。
使用者可以從Hugging Face等平臺下載模型，儘管目前可選模型仍然有限，如Gemma-3n-E2B和Qwen2.5-1.5 B等格式。
Reddit使用者立即質疑了該應用的新穎性，將其與現有解決方案如PocketPal進行比較。
一些人提出了安全性擔憂，但該應用託管在Google官方GitHub上，可以反駁冒充宣告。目前尚未發現任何惡意軟體證據。
我們在三星Galaxy S24 Ultra上測試了該應用，下載了可用的最大和最小的Gemma 3模型。
每個AI模型都是一個獨立檔案，包含其所有"知識"——可以理解為下載了模型在訓練期間學習的所有內容的壓縮快照，而不是像本地維基百科應用那樣的龐大事實資料庫。應用內可用的最大Gemma 3模型約為4.4 GB，最小的約為554 MB。
下載後，不需要任何額外資料——模型完全在你的裝置上執行，僅使用其釋出前學習的內容來回答問題和執行任務。
即使在低速CPU推理下，體驗也與GPT-3.5釋出時相當：對於大型模型不是超快，但絕對可用。
較小的Gemma 3 1B模型每秒可達20多個標記，在監督下提供流暢且可靠的準確性。
當你離線或處理不想與Google或OpenAI的訓練演算法共享的敏感資料時，這一點尤為重要，除非你選擇退出，否則這些演算法預設會使用你的資料。
在最小的Gemma模型上，GPU推理提供了超過105個標記/秒的令人印象深刻的預填充速度，而CPU推理達到了39個標記/秒。標記輸出——模型思考後生成響應的速度——在GPU上平均約為10個標記/秒，在CPU上約為7個標記/秒。
多模態功能在測試中表現良好。
此外，似乎在較小模型上CPU推理比GPU推理能產生更好的結果，儘管這可能只是個別現象；然而，這已在多次測試中得到觀察。
例如，在視覺任務中，CPU推理模型在測試照片中準確猜測了我和妻子的年齡：我接近40歲，妻子接近30歲。
據說更好的GPU推理錯誤地猜測我在20多歲（不過我很樂意接受這個"資訊"）。
Google的模型帶有嚴格的審查，但可以透過最小的努力實現基本的越獄。
與會因規避嘗試而封禁使用者的中心化服務不同，本地模型不會回傳你的提示，因此使用越獄技術而不會冒失去訂閱的風險，或詢問審查版本不會提供的資訊是個好做法。
第三方模型支援是可用的，但有些有限。
該應用僅接受.task檔案，不支援像Ollama這樣的競爭對手廣泛採用的.safetensor格式。
這極大地限制了可用模型，儘管有方法將.safetensor檔案轉換為.task，但並非人人都能做到。
程式碼處理工作尚可，儘管像Codestral這樣的專業模型會比Gemma 3更有效地處理程式設計任務。同樣，它必須有.task版本，但可以是非常有效的替代方案。
對於重新措辭、總結和解釋概念等基本任務，這些模型無需傳送資料到三星或Google的伺服器就能出色完成。
因此，使用者無需授予大型科技公司訪問其輸入、鍵盤或剪貼簿的許可權，因為他們自己的硬體正在處理所有必要的工作。
4096個標記的上下文視窗在2025年標準下感覺有限，但與兩年前的常態相符。
在這些約束內，對話自然流暢。這可能是定義這種體驗的最佳方式。
考慮到你在智慧手機上執行AI模型，這款應用將提供與早期ChatGPT類似的體驗，無論是速度還是文字準確性——並具有多模態和程式碼處理等一些優勢。
但為什麼要在手機上執行一個較慢、功能較弱的你喜歡的AI版本，佔用大量儲存空間，並使事情比直接輸入ChatGPT.com更復雜呢？
隱私仍然是殺手級功能。例如，處理患者資料的醫療工作者、現場記者或任何處理機密資訊的人現在可以在不離開裝置的情況下訪問AI功能。
"無需網際網路"意味著該技術可在偏遠地區或旅行時使用，所有響應僅由模型在訓練時已有的知識生成。
成本節省很快就會累積。雲AI服務按使用收費，而本地模型只需要手機的處理能力。小型企業和愛好者可以在沒有持續開支的情況下進行實驗。如果你在本地執行模型，你可以無限制地與之互動，無需消耗配額、積分或訂閱，且無需產生任何費用。
延遲改進感覺明顯。沒有伺服器往返意味著實時應用（如聊天機器人或影象分析）響應更快。這也意味著你的聊天機器人永遠不會宕機。
總的來說，對於基本任務，這可能對任何使用者來說綽綽有餘，免費版的ChatGPT、Claude、Gemini、Meta、Reka和Mistral在需要更重的計算時可以提供良好的備用選擇。
當然，這不會很快成為你最喜歡的聯網聊天機器人的替代品。存在一些早期採用的挑戰。
電池耗盡的擔憂仍然存在，尤其是對於大型模型；設定複雜性可能會阻礙非技術使用者；模型種類與雲服務相比相形見絀，Google決定不支援.safetensor模型（佔網際網路上幾乎100%的大語言模型）令人失望。
然而，Google的實驗性發布標誌著AI部署理念的轉變。該公司不再迫使使用者在強大的AI和隱私之間選擇，而是同時提供兩者，即使體驗尚未完全成熟。
AI Edge Gallery為一個Alpha版本提供了出奇精良的體驗。Google的最佳化展示了可能是執行本地AI模型最佳使用者介面的建立。
增加.safetensor支援將解鎖現有模型的龐大生態系統，將一個不錯的應用轉變為面向注重隱私的AI使用者的必備工具。
由Josh Quittner和Sebastian Sinclair編輯
