週一，一位使用流行的人工智慧驅動的程式碼編輯器 Cursor 的開發者注意到一些奇怪的事情：在不同機器之間切換會立即將他們登出，這打破了程式設計師使用多個裝置的常見工作流程。當用戶聯絡 Cursor 支援時，一位名為"Sam"的代理告訴他們這是新政策下的預期行為。但實際上並不存在這樣的政策，而且 Sam 是一個機器人。AI 模型憑空編造了這個政策，引發了在 Hacker News 和 Reddit 上記錄的一波投訴和取消威脅。
這標誌著 AI 虛構（也被稱為"幻覺"）對業務可能造成損害的最新例項。虛構是一種"創造性填補空白"的響應，AI 模型會編造看似合理但實際虛假的資訊。AI 模型往往不願承認不確定性，而是傾向於創造看似自信的響應，即使這意味著憑空製造資訊。
對於在沒有人工監督的情況下在面向客戶的角色中部署這些系統的公司來說，後果可能是直接且昂貴的：沮喪的客戶、受損的信任，以及在 Cursor 的情況下，可能會取消訂閱。
事件始於一位名為 BrokenToasterOven 的 Reddit 使用者注意到，在桌面、膝上型電腦和遠端開發盒之間切換時，Cursor 會話意外終止。
"在一臺機器上登入 Cursor 會立即使其他任何機器上的會話失效，"BrokenToasterOven 寫道，這條訊息後來被刪除。"這是一個重大的使用者體驗倒退。"
困惑且沮喪的使用者給 Cursor 支援發了一封電子郵件，很快收到 Sam 的回覆："Cursor 設計為每個訂閱僅支援一臺裝置，這是核心安全功能。"這個回覆聽起來很肯定且官方，使用者並沒有懷疑 Sam 不是真人。
在最初的 Reddit 帖子之後，使用者們將其視為實際政策變更的官方確認——這一變更打破了許多程式設計師日常工作的習慣。"多裝置工作流程對開發者來說是基本要求，"一位使用者寫道。
隨後，幾位使用者公開在 Reddit 上宣佈取消訂閱，理由是這個不存在的政策。"我剛剛取消了訂閱，"原 Reddit 發帖人寫道，並補充說他們的工作場所正在"徹底清除它"。其他人也加入："是的，我也要取消，這太荒謬了。"不久後，版主鎖定了 Reddit 帖子並刪除了原始帖子。
"嘿！我們沒有這樣的政策，"三小時後，一位 Cursor 代表在 Reddit 回覆中寫道。"你當然可以在多臺機器上使用 Cursor。很遺憾，這是一線 AI 支援機器人的錯誤回覆。"
Cursor 的這起事件讓人想起 2024 年 2 月的類似事件，當時加拿大航空被要求兌現其聊天機器人虛構的退款政策。在那起事件中，Jake Moffatt 在祖母去世後聯絡航空公司支援，航空公司的 AI 代理錯誤地告訴他可以預訂全價機票並追溯申請喪親優惠。當加拿大航空後來拒絕他的退款申請時，公司辯稱"聊天機器人是一個獨立的法律實體，對自己的行為負責"。加拿大仲裁庭拒絕了這一辯護，裁定公司要對其 AI 工具提供的資訊負責。
與加拿大航空不同，Cursor 承認了錯誤並採取了彌補措施。Cursor 聯合創始人 Michael Truell 後來在 Hacker News 上道歉，解釋使用者已獲得退款，這個問題源於一個旨在提高會話安全性的後端更改，但意外地為某些使用者造成了會話失效問題。
"現在所有使用者郵件支援中使用的 AI 響應都會明確標註，"他補充道。"我們使用 AI 輔助響應作為郵件支援的第一道篩選。"
儘管如此，這一事件引發了使用者對披露的持續質疑，因為許多與 Sam 互動的人顯然相信它是真人。"大語言模型假裝是人類（你給它起名叫 Sam！）且未標註，顯然是有意欺騙，"一位使用者在 Hacker News 上寫道。
雖然 Cursor 修復了技術漏洞，但這一事件顯示了在沒有適當保障和透明度的情況下在面向客戶的角色中部署 AI 模型的風險。對於一家向開發者銷售 AI 生產力工具的公司來說，其自身的 AI 支援系統發明了一個疏遠其核心使用者的政策，這代表了一種特別尷尬的自我傷害。
"有一種諷刺的是，人們非常努力地說幻覺不再是一個大問題，"一位使用者在 Hacker News 上寫道，"然後一家本可以受益於這種說法的公司直接被它傷害了。"
這篇文章最初發表在 Ars Technica 上。
