昨天的蘋果發佈會剛開到一半，Apple 智能（Apple Intelligence）的詞條就已經席捲了熱搜榜。
發佈會上，蘋果官宣牽手 OpenAI，GPT-4o 將被正式融合到 Apple 智能系統。
儘管蘋果高管 Craig Fedrighi 對外表示，OpenAI 僅僅只是入選者之一，但這場看似珠聯璧合的合作卻還是躲不過外界的「挑刺兒」和「吃瓜」。
就連馬斯克都來湊熱鬧，先是給蘋果的隱私保護打了個差評，接著放狠話說要禁用蘋果設備，不過，劇情總有反轉，據 CNBC 報道，馬斯克已經撤回了針對 OpenAI 及其 CEO Sam Altman 的訴訟。
另外，還有細心的網友發現新版 Siri 似乎真能讀取手機上的所有應用程序，究竟真相如何，不妨翻閱一下蘋果最新發布的博客，或許這裡面隱藏著答案。
端雲混合，30 億參數端側模型有驚喜
Apple 智能走的是兩條腿並行的路，即端側模型和雲端大模型。
雲端大模型自不用提，龐大而複雜，需要在蘋果的芯片服務器上運行，並且還能夠處理更專業、更復雜的任務。
而在端側模型上，Apple 智能擁有一個大約 3B 參數的模型。在國內普遍徘徊在 7B 的水平線面前，蘋果的 3B 參數顯得有些低調。
一般來說，考慮到端側設備計算能力和存儲空間有限，參數越多，模型的學習能力越強。儘管蘋果這個端側模型只有 3B 參數，但也是「四兩撥千斤」的標杆之作。
在過去的一整年， 類似這種大有打破「Scaling Laws」的案例我們可沒少見。
比如微軟最新的 Phi-3-mini 模型，只用 3.8B 參數就敢與 7B 大哥叫板。又或者，跑在 Google Pixel 8 Pro 上的 Gemini Nano 分別只有 1.8B（Nano-1）和 3.25B （Nano-2）。
比起紙面參數上的較量，蘋果主打一個用戶的體驗才是王道。
博客透露，蘋果採用了很多真實世界中的例子來測試模型的實際效果，從分類、問答、數學推理、到開放式問答、安全性、總結和寫作，可謂是應有盡有。
而且，就算是和 Phi-3-mini、Gemma-7B、Mistral-7B 等模型同臺競技，在人類「評委」的投票下，蘋果的端側模型也都是眾望所謂的佼佼者。
蘋果對 AI 的追求，不僅僅是好用，更是安全。
比如在測試處理有害內容、敏感話題和事實準確性的能力上，蘋果基礎模型也都是下足了功夫，違規率遠低於絕大多數模型。
作為一家作為坐擁超過 22 億活躍設備的巨頭，蘋果在違規率上的選擇似乎只有低和更低。這其實也與蘋果一貫的安全措施相吻合。
它必須瞭解你，並基於你的個人背景，比如你的日常生活、你的人際關係、你的溝通等等，所有這一切都超出了人工智能的範圍。這是個人智能，也是蘋果公司的下一個重大舉措。
庫克的這番話雖然口頭上處處不談隱私，但字裡行間全是隱私的雷點。
假如 AI 成了我們的「第二大腦」，隱私保護就不可以也不能是擺設。蘋果給出的方案是，Apple 智能是要深深紮根在 iPhone、iPad 和 Mac 裡，這絕非功能或者服務，而是要成為系統的一部分。
但也正是因為如此，馬斯克聲稱如果蘋果對 ChatGPT 是系統級別的集成，他將禁止員工將 iPhone 帶入特斯拉。
不過，或許也不用過於擔心這個問題，Apple 智能背後的模型主要分成三層。
本地模型：主要是經過微調的 3B 小模型，專用於摘要、潤色等任務，經過適配器的加持後，能力不弱
私有云計算：本地模型滿足不了要求的，會傳到雲端運算。蘋果確保端到端加密，保障用戶數據的安全和隱私
第三方 LLM：用於泛用的知識問答聊天，如 Siri 等應用接入了 GPT-4o 等外部模型
也就是說，蘋果本質上還是將 OpenAI 的 ChatGPT 模型視為一個插件，也可能跟其他模型合作。如果蘋果自研模型足夠強，蘋果自然可以完全淘汰第三方 LLM。
另外，博客也提到，Apple 智能系統還包括其他一些模型，比如可以幫助程序員在 Xcode 中編寫代碼的模型，以及幫助用戶在發短信時能夠更直觀、有趣地表達自己想法的擴散模型。
Apple 智能是如何煉成的
如果你想在電腦上製作視頻，那你需要安裝一些額外的應用程序。在 AI 模型的世界裡，蘋果模型背後用到的「適配器」也是同樣的道理。
簡單來說，適配器即一些模型權重的小集合，相當於一個小型的插件，讓模型能夠快速適應不同的任務。
例如，模型處理郵件和通知的總結，看起來差不多，但實際上有許多細微的差別，所以蘋果給模型加上了一個叫做 LoRA 的適配器，讓它能更好地完成這種任務。
蘋果還特別挑選了 750 個不同的總結來測試實際效果，結果發現，用了適配器的模型確實比別的模型做得更好。
蘋果的訣竅在於，只調整這些適配器，而不動基礎模型的「出廠設置」。這樣做的好處是，模型保留了它原有的廣泛知識，同時又能夠通過適配器來學習一些特殊的技能。
更重要的是，每個適配器佔用的空間不大，哪怕模型有 30 億參數的模型大腦，也不過佔幾十兆的「腦細胞」。
要想讓模型學得好，數據的質量非常關鍵。
蘋果在訓練模型時採取了一種混合策略，選擇用人工標註的數據和蘋果自己生成的數據一起訓練。
至於在訓練這些基礎模型時，蘋果用的是一些經過許可的特定數據，包括一些專門挑選出來增強模型特定功能的數據，以及用網絡爬蟲 AppleBot 從網上收集的公開數據。
蘋果還強調，在訓練這些基礎模型的過程中，蘋果並沒有用到用戶的私人信息或者用戶的任何交互數據，甚至還特別小心地用過濾器去清除那些在網上公開的個人信息。
訓練過程中，蘋果開發了兩種新的技術手段來提高模型的效果：
具體來說，第一種方法是在訓練時，蘋果會讓模型參考一些「老師」的意見，這些「老師」會幫助模型在遇到不確定的情況時做出選擇。
第二種技術叫做基於人類反饋的強化學習（RLHF），它是用一種特殊的優化策略和留一算法來調整模型，讓模型能夠更好地估計自己的輸出是否準確。
通過這兩種方法，模型在執行任務時的準確性有了很大的提升，學得更快、更準確。而在解決手機和雲端服務器資源有限的問題上，蘋果也施展了好幾個新招數：
- 分組查詢注意力（grouped-query-attention）：優化模型處理文字的方式
- 共享輸入輸出詞彙表：端側模型擁有 49k token，雲端模型擁有 100k token，且包含更多的語言和技術相關的詞彙
- 低比特量化（low-bit palletization）：在減輕手機電量和內存壓力的同時，讓模型運行得更快
- 混合配置策略：採用 2 位和 4 位配置的策略，即使在有限的空間裡，也能保持和沒有壓縮的模型一樣的準確性
- Talaria 工具：幫助模型選擇最合適的「傳輸速度」
- 激活量化和嵌入量化：讓神經引擎上的鍵值緩存更靈活更高效
隨著這些優化策略一一落實，蘋果的模型在 iPhone 15 Pro 上的表現足以令人矚目，每個 token 的處理時間僅需 0.6 毫秒，而且每秒能生成 30 個 token。
這還不算，蘋果還「藏著」一些技巧可以讓 token 的生成速度更快，不過蘋果在博客中並未透露太多。
實際上，Apple 智能的登場談不上早，但也算不上太晚。
晚的是，在其他 Android 廠商早在 AI 手機賽道上馳騁了一兩年時，蘋果似乎只是在一旁靜靜地觀察，直到最近，才緩緩地邁出自己步伐。
但別忘了，蘋果作為全球領先的終端消費場景製造商，它的每一個動作都牽動著市場的脈搏。簡言之，在 AI 的實際落地場景中，蘋果才是不可或缺的那一個。
這就好比，將 AI 命名為 Apple Intelligence，表明上看是一個巧妙的「諧音梗」，但從更深層次來看，當 Apple 智能融入蘋果的生態系統，這本身就是一種實力和自信的象徵。
當然，在此之前，無論是廠商在 AI 賽道上的博弈也好，還是無法迴避的隱私問題也罷，我更感興趣的是，國行蘋果的 AI 功能究竟會花落誰家？
博客原文：https://machinelearning.apple.com/research/introducing-apple-foundation-models
本文來自微信公眾號“APPSO”（ID:appsolution），作者：莫崇宇，36氪經授權發佈。
