Brave 報告稱 Perplexity Comet 漏洞導致用戶數據暴露給攻擊者

avatar
Decrypt
08-26
本文為機器翻譯
展示原文

Brave Software 發現了 Perplexity AI 的 Comet 瀏覽器的安全漏洞,該漏洞展示了攻擊者如何誘騙其AI 助理洩露用戶的私人資料。

在8月20日發布的概念驗證演示中,Brave的研究人員在Reddit評論中發現了隱藏的指令。當Comet的AI助理被要求總結頁面內容時,它不僅完成了總結,還遵循了隱藏的指示。

Perplexity 對這項發現的嚴重性提出了質疑。一位發言人告訴Decrypt,該問題“在任何人發現之前就已修復”,並表示沒有用戶資料外洩。 「我們有一個非常強大的賞金計劃,」發言人補充道。 “我們直接與 Brave 合作,識別並修復了這個問題。”

Brave 正在開發自己的代理瀏覽器,它堅稱該漏洞在修補程式發布數週後仍然可以被利用,並認為 Comet 的設計使其容易受到進一步的攻擊。

Brave 表示,該漏洞源自於 Comet 等代理瀏覽器處理網頁內容的方式。報告解釋道:“當用戶要求 Comet 總結某個頁面時,它會直接將該頁面的一部分內容輸入到其語言模型中,而不會區分用戶的指令和不受信任的內容。這使得攻擊者能夠嵌入隱藏命令,而 AI 會將這些命令當做來自用戶的指令來執行。”

即時注入:舊想法,新目標

這種漏洞被稱為即時注入攻擊。它不是欺騙人類,而是透過純文字隱藏指令來欺騙人工智慧系統。

「它類似於傳統的注入攻擊——SQL注入、LDAP注入、命令注入,」 Reveal Security首席駭客 Matthew Mullins 告訴Decrypt 。 “這個概念並不新鮮,但方法不同。你利用的是自然語言,而不是結構化程式碼。”

安全研究人員數月來一直警告稱,隨著人工智慧系統自主性增強,即時注入可能會成為一個大難題。今年5月,普林斯頓大學的研究人員 展示如何利用「記憶體注入」攻擊操縱加密人工智慧代理,即將惡意資訊儲存在人工智慧的記憶體中,然後將其視為真實資訊進行操作。

「即時注入」一詞的發明者西蒙威利森 (Simon Willison) 也表示,問題遠不止 Comet 這麼簡單。他在 X 上發文表示:“Brave 安全團隊報告了 Comet 中存在嚴重的即時注入漏洞,但 Brave 自己正在開發一個類似的功能,看起來也注定會出現類似的問題。”

Brave 隱私和安全副總裁 Shivan Sahib 表示,其即將推出的瀏覽器將包含「一系列有助於降低間接提示注入風險的緩解措施」。

他告訴Decrypt :“我們計劃將代理瀏覽隔離到其自己的存儲區域和瀏覽會話中,這樣用戶就不會意外地將自己的銀行數據和其他敏感數據的訪問權限授予代理。我們將很快分享更多細節。”

更大的風險

Comet 的簡報凸顯了一個更廣泛的問題:AI 代理的部署權限很高,但安全控制卻很薄弱。由於大型語言模型可能會誤解指令(或過於字面地執行指令),因此它們特別容易受到隱藏提示的影響。

「這些模特兒可能會產生幻覺,」馬林斯警告。 “他們可能會完全失控,例如問‘你最喜歡什麼口味的Twizzler?’,或者得到自製槍支的指導。”

由於AI代理被賦予直接存取電子郵件、文件和即時使用者會話的權限,風險極高。 “每個人都想把AI融入到一切事物中,”Mullins說道,“但沒有人測試模型擁有哪些權限,或者當它洩露信息時會發生什麼。”

來源
免責聲明:以上內容僅為作者觀點,不代表Followin的任何立場,不構成與Followin相關的任何投資建議。
喜歡
1
收藏
評論