월요일, 인기 AI 기반 코드 편집기인 커서(Cursor) 를 사용하는 한 개발자가 이상한 점을 발견했습니다. 여러 기기를 사용하는 프로그래머들의 일반적인 작업 흐름에 차질이 생겨 기기를 전환하면 즉시 로그아웃되는 현상이 발생한 것입니다. 사용자가 커서 지원팀에 문의하자 "샘"이라는 상담원은 새로운 정책에 따라 예상되는 동작이라고 설명했습니다. 하지만 그런 정책은 존재하지 않았고, 샘은 봇이었습니다. AI 모델이 이 정책을 조작했고, 이로 인해 해커 뉴스(Hacker News) 와 레딧(Reddit) 에 수많은 불만과 해지 위협이 쏟아졌습니다.
이는 잠재적인 사업적 손실을 초래하는 AI의 허구 (일명 "환각" )의 가장 최근 사례입니다. 허구는 AI 모델이 그럴듯해 보이지만 잘못된 정보를 만들어내는 "창의적인 공백 메우기" 대응의 한 유형입니다. AI 모델은 불확실성을 인정하는 대신, 종종 그럴듯하고 확신에 찬 대응을 우선시하며, 심지어 그것이 정보를 처음부터 만들어내는 것을 의미하더라도 말입니다.
인간의 감독 없이 고객과 직접 대면하는 역할에 이러한 시스템을 배포하는 회사의 경우, 즉각적이고 비용이 많이 드는 결과가 초래될 수 있습니다. 즉, 고객 불만, 신뢰 손상, 그리고 Cursor의 경우처럼 구독이 취소될 가능성이 있습니다.
이 사건은 BrokenToasterOven이라는 Reddit 사용자가 데스크톱, 노트북, 원격 개발 박스 간을 전환하는 동안 커서 세션이 예기치 않게 종료되는 것을 발견하면서 시작되었습니다.
BrokenToasterOven은 r/cursor 관리자에 의해 삭제 된 메시지에서 "한 컴퓨터에서 Cursor에 로그인하면 다른 컴퓨터에서도 세션이 즉시 무효화됩니다."라고 썼습니다. "이는 심각한 UX 퇴보입니다."
혼란스럽고 답답한 사용자는 커서 지원팀에 이메일을 보냈고, 곧 샘에게서 답장을 받았습니다. "커서는 핵심 보안 기능으로 구독당 한 대의 기기에서 작동하도록 설계되었습니다."라는 내용이었습니다. 답장은 확실하고 공식적인 것처럼 들렸고, 사용자는 샘이 사람이 아닐 거라고는 생각하지 못했습니다.
Reddit에 처음 게시된 이후, 사용자들은 이 게시글을 실제 정책 변경에 대한 공식 확인으로 받아들였습니다. 많은 프로그래머의 일상에 필수적인 습관을 깨는 변경이었습니다. 한 사용자는 "다중 기기 워크플로는 개발자에게 필수적인 요소입니다."라고 적었습니다.
얼마 지나지 않아 여러 사용자가 Reddit에 구독 취소를 공개적으로 발표하며, 존재하지 않는 정책을 이유로 들었습니다. 원래 Reddit 게시자는 "정말 방금 구독을 취소했습니다."라고 글을 남기며, 직장에서 "완전히 삭제하고 있습니다."라고 덧붙였습니다. 다른 사람들도 동참했습니다. "네, 저도 구독을 취소합니다. 이건 말도 안 되는 소리입니다." 얼마 지나지 않아 관리자들은 Reddit 스레드를 잠그고 원래 게시글을 삭제했습니다.
"저희는 그런 정책이 없습니다." 커서 담당자가 3시간 후 Reddit에 남긴 답글에서 이렇게 썼습니다 . "물론 여러 대의 컴퓨터에서 커서를 사용하실 수 있습니다. 하지만 안타깝게도 이는 최전선 AI 지원 봇의 잘못된 답변입니다."
커서 사건은 2024년 2월 에어캐나다가 자체 챗봇이 개발한 환불 정책을 준수하라는 명령을 받았던 유사한 사건을 떠올리게 합니다. 당시 제이크 모팻은 할머니가 돌아가신 후 에어캐나다 지원팀에 연락했는데, 항공사 AI 상담원이 정가 항공권을 예약하고 유족 지원금을 소급 적용할 수 있다고 잘못 안내했습니다. 에어캐나다가 이후 환불 요청을 거부하자, 회사는 "챗봇은 자체적인 행동에 책임을 지는 별도의 법인"이라고 주장했습니다. 캐나다 재판소는 이러한 항변을 기각하고, 기업이 AI 도구가 제공한 정보에 대한 책임이 있다고 판결했습니다.
커서는 에어 캐나다처럼 책임을 회피하는 대신, 오류를 인정하고 보상 조치를 취했습니다. 커서 공동 창립자 마이클 트루엘은 이후 해커 뉴스를 통해 존재하지 않는 정책으로 인한 혼란에 대해 사과하며 , 해당 사용자는 환불을 받았고, 세션 보안을 개선하기 위한 백엔드 변경으로 인해 의도치 않게 일부 사용자에게 세션 무효화 문제가 발생했다고 설명했습니다.
"이메일 지원에 사용되는 모든 AI 응답에는 이제 AI라는 라벨이 명확하게 표시됩니다."라고 그는 덧붙였습니다. "이메일 지원의 첫 번째 필터로 AI 지원 응답을 사용합니다."
그럼에도 불구하고, 이 사건은 사용자들 사이에서 정보 공개에 대한 의문을 제기했습니다. 샘과 상호작용한 많은 사람들이 샘이 사람이라고 믿었던 것으로 보이기 때문입니다. 한 사용자는 Hacker News에 "LLM이 사람인 척하면서(샘이라고 이름 지었잖아요!) 그렇게 표시하지 않는 것은 분명히 기만적인 의도입니다."라고 썼습니다 .
커서가 기술적 버그를 수정했지만, 이 에피소드는 적절한 안전 장치와 투명성 없이 고객 대면 업무에 AI 모델을 배포하는 것의 위험성을 보여줍니다. 개발자에게 AI 생산성 도구를 판매하는 회사에게, 자체 AI 지원 시스템에서 핵심 사용자를 소외시키는 정책을 개발하는 것은 특히 자초한 난처한 상황입니다.
한 사용자는 Hacker News에 "사람들이 환각이 더 이상 큰 문제가 아니라고 주장하는 건 아이러니한 일이죠."라고 글을 남겼습니다 . "그런 이야기로 이익을 얻을 수 있는 회사가 직접적으로 피해를 입는 거죠."
이 기사는 원래 Ars Technica 에 게재되었습니다.
