周一，一位使用流行的人工智能驱动的代码编辑器 Cursor 的开发者注意到一些奇怪的事情：在不同机器之间切换会立即将他们注销，这打破了程序员使用多个设备的常见工作流程。当用户联系 Cursor 支持时，一位名为"Sam"的代理告诉他们这是新政策下的预期行为。但实际上并不存在这样的政策，而且 Sam 是一个机器人。AI 模型凭空编造了这个政策，引发了在 Hacker News 和 Reddit 上记录的一波投诉和取消威胁。
这标志着 AI 虚构（也被称为"幻觉"）对业务可能造成损害的最新实例。虚构是一种"创造性填补空白"的响应，AI 模型会编造看似合理但实际虚假的信息。AI 模型往往不愿承认不确定性，而是倾向于创造看似自信的响应，即使这意味着凭空制造信息。
对于在没有人工监督的情况下在面向客户的角色中部署这些系统的公司来说，后果可能是直接且昂贵的：沮丧的客户、受损的信任，以及在 Cursor 的情况下，可能会取消订阅。
事件始于一位名为 BrokenToasterOven 的 Reddit 用户注意到，在桌面、笔记本电脑和远程开发盒之间切换时，Cursor 会话意外终止。
"在一台机器上登录 Cursor 会立即使其他任何机器上的会话失效，"BrokenToasterOven 写道，这条消息后来被删除。"这是一个重大的用户体验倒退。"
困惑且沮丧的用户给 Cursor 支持发了一封电子邮件，很快收到 Sam 的回复："Cursor 设计为每个订阅仅支持一台设备，这是核心安全功能。"这个回复听起来很肯定且官方，用户并没有怀疑 Sam 不是真人。
在最初的 Reddit 帖子之后，用户们将其视为实际政策变更的官方确认——这一变更打破了许多程序员日常工作的习惯。"多设备工作流程对开发者来说是基本要求，"一位用户写道。
随后，几位用户公开在 Reddit 上宣布取消订阅，理由是这个不存在的政策。"我刚刚取消了订阅，"原 Reddit 发帖人写道，并补充说他们的工作场所正在"彻底清除它"。其他人也加入："是的，我也要取消，这太荒谬了。"不久后，版主锁定了 Reddit 帖子并删除了原始帖子。
"嘿！我们没有这样的政策，"三小时后，一位 Cursor 代表在 Reddit 回复中写道。"你当然可以在多台机器上使用 Cursor。很遗憾，这是一线 AI 支持机器人的错误回复。"
Cursor 的这起事件让人想起 2024 年 2 月的类似事件，当时加拿大航空被要求兑现其聊天机器人虚构的退款政策。在那起事件中，Jake Moffatt 在祖母去世后联系航空公司支持，航空公司的 AI 代理错误地告诉他可以预订全价机票并追溯申请丧亲优惠。当加拿大航空后来拒绝他的退款申请时，公司辩称"聊天机器人是一个独立的法律实体，对自己的行为负责"。加拿大仲裁庭拒绝了这一辩护，裁定公司要对其 AI 工具提供的信息负责。
与加拿大航空不同，Cursor 承认了错误并采取了弥补措施。Cursor 联合创始人 Michael Truell 后来在 Hacker News 上道歉，解释用户已获得退款，这个问题源于一个旨在提高会话安全性的后端更改，但意外地为某些用户造成了会话失效问题。
"现在所有用户邮件支持中使用的 AI 响应都会明确标注，"他补充道。"我们使用 AI 辅助响应作为邮件支持的第一道筛选。"
尽管如此，这一事件引发了用户对披露的持续质疑，因为许多与 Sam 交互的人显然相信它是真人。"大语言模型假装是人类（你给它起名叫 Sam！）且未标注，显然是有意欺骗，"一位用户在 Hacker News 上写道。
虽然 Cursor 修复了技术漏洞，但这一事件显示了在没有适当保障和透明度的情况下在面向客户的角色中部署 AI 模型的风险。对于一家向开发者销售 AI 生产力工具的公司来说，其自身的 AI 支持系统发明了一个疏远其核心用户的政策，这代表了一种特别尴尬的自我伤害。
"有一种讽刺的是，人们非常努力地说幻觉不再是一个大问题，"一位用户在 Hacker News 上写道，"然后一家本可以受益于这种说法的公司直接被它伤害了。"
这篇文章最初发表在 Ars Technica 上。
