Brave 报告称 Perplexity Comet 漏洞导致用户数据暴露给攻击者

avatar
Decrypt
08-26
本文为机器翻译
展示原文

Brave Software 发现了 Perplexity AI 的 Comet 浏览器的安全漏洞,该漏洞展示了攻击者如何诱骗其AI 助理泄露用户的私人资料。

在8月20日发布的概念验证演示中,Brave的研究人员在Reddit评论中发现了隐藏的指令。当Comet的AI助理被要求总结页面内容时,它不仅完成了总结,还遵循了隐藏的指示。

Perplexity 对这项发现的严重性提出了质疑。一位发言人告诉Decrypt,该问题“在任何人发现之前就已修复”,并表示没有用户资料外泄。 「我们有一个非常强大的赏金计划,」发言人补充道。 “我们直接与 Brave 合作,识别并修复了这个问题。”

Brave 正在开发自己的代理浏览器,它坚称该漏洞在修补程式发布数周后仍然可以被利用,并认为 Comet 的设计使其容易受到进一步的攻击。

Brave 表示,该漏洞源自于 Comet 等代理浏览器处理网页内容的方式。报告解释道:“当用户要求 Comet 总结某个页面时,它会直接将该页面的一部分内容输入到其语言模型中,而不会区分用户的指令和不受信任的内容。这使得攻击者能够嵌入隐藏命令,而 AI 会将这些命令当做来自用户的指令来执行。”

即时注入:旧想法,新目标

这种漏洞被称为即时注入攻击。它不是欺骗人类,而是透过纯文字隐藏指令来欺骗人工智慧系统。

「它类似于传统的注入攻击——SQL注入、LDAP注入、命令注入,」 Reveal Security首席骇客 Matthew Mullins 告诉Decrypt 。 “这个概念并不新鲜,但方法不同。你利用的是自然语言,而不是结构化程式码。”

安全研究人员数月来一直警告称,随著人工智慧系统自主性增强,即时注入可能会成为一个大难题。今年5月,普林斯顿大学的研究人员 展示如何利用「记忆体注入」攻击操纵加密人工智慧代理,即将恶意资讯储存在人工智慧的记忆体中,然后将其视为真实资讯进行操作。

「即时注入」一词的发明者西蒙威利森 (Simon Willison) 也表示,问题远不止 Comet 这么简单。他在 X 上发文表示:“Brave 安全团队报告了 Comet 中存在严重的即时注入漏洞,但 Brave 自己正在开发一个类似的功能,看起来也注定会出现类似的问题。”

Brave 隐私和安全副总裁 Shivan Sahib 表示,其即将推出的浏览器将包含「一系列有助于降低间接提示注入风险的缓解措施」。

他告诉Decrypt :“我们计划将代理浏览隔离到其自己的存储区域和浏览会话中,这样用户就不会意外地将自己的银行数据和其他敏感数据的访问权限授予代理。我们将很快分享更多细节。”

更大的风险

Comet 的简报凸显了一个更广泛的问题:AI 代理的部署权限很高,但安全控制却很薄弱。由于大型语言模型可能会误解指令(或过于字面地执行指令),因此它们特别容易受到隐藏提示的影响。

「这些模特儿可能会产生幻觉,」马林斯警告。 “他们可能会完全失控,例如问‘你最喜欢什么口味的Twizzler?’,或者得到自制枪支的指导。”

由于AI代理被赋予直接存取电子邮件、文件和即时使用者会话的权限,风险极高。 “每个人都想把AI融入到一切事物中,”Mullins说道,“但没有人测试模型拥有哪些权限,或者当它泄露信息时会发生什么。”

来源
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
1
收藏
评论