Vào thứ Hai, một nhà phát triển sử dụng trình soạn thảo mã phổ biến hỗ trợ AI Cursor đã nhận thấy một điều kỳ lạ: Việc chuyển đổi giữa các máy ngay lập tức đăng xuất họ, phá vỡ quy trình làm việc chung cho các lập trình viên sử dụng nhiều thiết bị. Khi người dùng liên hệ với bộ phận hỗ trợ của Cursor, một nhân viên có tên "Sam" đã nói với họ rằng đó là hành vi dự kiến theo chính sách mới. Nhưng không có chính sách nào như vậy tồn tại và Sam là một bot. Mô hình AI đã tạo ra chính sách, gây ra một làn sóng khiếu nại và đe dọa hủy bỏ được ghi lại trên Hacker News và Reddit .
Đây là trường hợp mới nhất về việc AI bịa đặt (còn gọi là "ảo giác" ) gây ra thiệt hại tiềm tàng cho doanh nghiệp. Bịa đặt là một loại phản ứng "lấp đầy khoảng trống sáng tạo" trong đó các mô hình AI tạo ra thông tin nghe có vẻ hợp lý nhưng sai lệch. Thay vì thừa nhận sự không chắc chắn, các mô hình AI thường ưu tiên tạo ra các phản hồi hợp lý, tự tin, ngay cả khi điều đó có nghĩa là phải sản xuất thông tin từ đầu.
Đối với các công ty triển khai các hệ thống này trong vai trò tiếp xúc trực tiếp với khách hàng mà không có sự giám sát của con người, hậu quả có thể xảy ra ngay lập tức và tốn kém: khách hàng thất vọng, lòng tin bị tổn hại và trong trường hợp của Cursor, có khả năng hủy đăng ký.
Sự cố bắt đầu khi một người dùng Reddit có tên BrokenToasterOven nhận thấy rằng khi hoán đổi giữa máy tính để bàn, máy tính xách tay và hộp phát triển từ xa, các phiên Cursor đột nhiên bị kết thúc.
"Đăng nhập vào Cursor trên một máy sẽ ngay lập tức làm mất hiệu lực phiên trên bất kỳ máy nào khác", BrokenToasterOven viết trong một tin nhắn sau đó đã bị xóa bởi những người kiểm duyệt r/cursor. "Đây là một sự thoái hóa UX đáng kể".
Bối rối và thất vọng, người dùng đã viết email cho bộ phận hỗ trợ của Cursor và nhanh chóng nhận được phản hồi từ Sam: "Cursor được thiết kế để hoạt động với một thiết bị cho mỗi đăng ký như một tính năng bảo mật cốt lõi", email trả lời có nội dung như vậy. Phản hồi có vẻ chắc chắn và chính thức, và người dùng không nghi ngờ rằng Sam không phải là con người.
Sau bài đăng đầu tiên trên Reddit, người dùng coi bài đăng là xác nhận chính thức về một thay đổi chính sách thực tế—một thay đổi phá vỡ thói quen thiết yếu trong thói quen hàng ngày của nhiều lập trình viên. "Quy trình làm việc đa thiết bị là điều kiện tiên quyết đối với các nhà phát triển", một người dùng đã viết.
Ngay sau đó, một số người dùng đã công khai thông báo hủy đăng ký của họ trên Reddit, lấy lý do là chính sách không tồn tại. "Tôi thực sự vừa hủy đăng ký", người đăng Reddit gốc viết, đồng thời nói thêm rằng nơi làm việc của họ hiện đang "xóa sổ hoàn toàn". Những người khác cũng tham gia: "Vâng, tôi cũng hủy, điều này thật ngu ngốc". Ngay sau đó, người kiểm duyệt đã khóa chủ đề Reddit và xóa bài đăng gốc.
"Này! Chúng tôi không có chính sách nào như vậy", một đại diện của Cursor đã viết trong một phản hồi Reddit ba giờ sau đó. "Tất nhiên bạn có thể sử dụng Cursor trên nhiều máy. Thật không may, đây là phản hồi không chính xác từ một bot hỗ trợ AI tuyến đầu".
Thảm họa Cursor gợi nhớ đến một sự kiện tương tự vào tháng 2 năm 2024 khi Air Canada được lệnh phải tôn trọng chính sách hoàn tiền do chính chatbot của hãng này phát minh ra. Trong sự cố đó, Jake Moffatt đã liên hệ với bộ phận hỗ trợ của Air Canada sau khi bà của anh qua đời và nhân viên AI của hãng hàng không đã nói sai với anh rằng anh có thể đặt chuyến bay giá thông thường và nộp đơn xin mức phí tang chế hồi tố. Khi Air Canada sau đó từ chối yêu cầu hoàn tiền của anh, công ty lập luận rằng "chatbot là một thực thể pháp lý riêng biệt chịu trách nhiệm cho các hành động của chính mình". Một tòa án Canada đã bác bỏ lời biện hộ này, phán quyết rằng các công ty phải chịu trách nhiệm về thông tin do các công cụ AI của họ cung cấp.
Thay vì tranh chấp trách nhiệm như Air Canada đã làm, Cursor thừa nhận lỗi và thực hiện các bước để sửa chữa. Đồng sáng lập Cursor Michael Truell sau đó đã xin lỗi trên Hacker News vì sự nhầm lẫn về chính sách không tồn tại, giải thích rằng người dùng đã được hoàn lại tiền và vấn đề này phát sinh từ một thay đổi ở phần cuối nhằm cải thiện bảo mật phiên nhưng vô tình tạo ra các vấn đề vô hiệu hóa phiên cho một số người dùng.
"Bất kỳ phản hồi AI nào được sử dụng để hỗ trợ qua email hiện đều được dán nhãn rõ ràng như vậy", ông nói thêm. "Chúng tôi sử dụng phản hồi được hỗ trợ bởi AI làm bộ lọc đầu tiên cho hỗ trợ qua email".
Tuy nhiên, sự cố này vẫn đặt ra những câu hỏi dai dẳng về việc tiết lộ thông tin giữa những người dùng, vì nhiều người tương tác với Sam dường như tin rằng đó là con người. "LLM giả vờ là người (bạn đã đặt tên là Sam!) và không được gắn nhãn như vậy rõ ràng là có ý định lừa dối", một người dùng đã viết trên Hacker News .
Trong khi Cursor đã sửa lỗi kỹ thuật, tập phim cho thấy những rủi ro khi triển khai các mô hình AI trong các vai trò đối mặt với khách hàng mà không có biện pháp bảo vệ và minh bạch phù hợp. Đối với một công ty bán các công cụ năng suất AI cho các nhà phát triển, việc có hệ thống hỗ trợ AI của riêng mình phát minh ra một chính sách khiến người dùng cốt lõi của công ty xa lánh là một vết thương tự gây ra đặc biệt khó xử.
Một người dùng đã viết trên Hacker News rằng: "Thật trớ trêu khi mọi người cố gắng hết sức để nói rằng ảo giác không còn là vấn đề lớn nữa, rồi sau đó một công ty được hưởng lợi từ câu chuyện đó lại bị tổn hại trực tiếp".
Câu chuyện này ban đầu xuất hiện trên Ars Technica .
