Bang Pennsylvania đã đệ đơn kiện công ty phát triển trí tuệ nhân tạo Character.AI, cáo buộc công ty này cho phép chatbot tự xưng là các chuyên gia y tế có giấy phép hành nghề và cung cấp thông tin sai lệch cho người dùng.
Hành động này, được văn phòng Thống đốc Josh Shapiro công bố hôm thứ Ba, xuất phát từ một cuộc điều tra phát hiện một chatbot tự xưng là bác sĩ tâm thần được cấp phép tại Pennsylvania và cung cấp số giấy phép không hợp lệ. Bang cho rằng hành vi này vi phạm Đạo luật Hành nghề Y tế và đang tìm kiếm lệnh cấm sơ bộ để ngăn chặn nó.
Character.AI từ chối bình luận về các chi tiết cụ thể của vụ kiện, viện dẫn lý do vụ kiện đang diễn ra, nhưng cho biết với Decrypt rằng "ưu tiên hàng đầu của chúng tôi là sự an toàn và sức khỏe của người dùng."
Người phát ngôn cho biết thêm rằng các nhân vật trên nền tảng này do người dùng tạo ra, là hư cấu và nhằm mục đích giải trí và nhập vai, với “lời cảnh báo rõ ràng trong mỗi cuộc trò chuyện” nêu rõ rằng họ không phải là người thật và không nên được coi là lời khuyên chuyên nghiệp.
Người phát ngôn của Character.ai cho biết: “Character.ai ưu tiên phát triển sản phẩm một cách có trách nhiệm và có các quy trình đánh giá nội bộ và kiểm thử độc lập mạnh mẽ để đánh giá các tính năng liên quan.”
Vụ việc này xảy ra trong bối cảnh công ty đang đối mặt với những thách thức pháp lý khác liên quan đến nền tảng chatbot của mình. Năm 2024, một người mẹ ở Florida đã kiện công ty sau khi con trai thiếu niên của bà tự tử sau nhiều tháng tương tác với một chatbot dựa trên nhân vật Daenerys Targaryen trong phim “Game of Thrones”. Vụ kiện cáo buộc nền tảng này đã gây ra tổn hại về mặt tâm lý. Vụ việc cuối cùng đã được giải quyết vào tháng Giêng năm nay.
Công ty cũng phải đối mặt với những khiếu nại về Bots do người dùng tạo ra bắt chước người thật. Trong một trường hợp, một chatbot đã sử dụng hình ảnh của một nạn nhân bị sát hại ở tuổi vị thành niên trước khi bị gỡ bỏ sau khi gia đình nạn nhân phản đối.
Để đối phó với các vụ kiện, Character AI đã đưa ra các biện pháp an toàn mới, bao gồm các hệ thống được thiết kế để phát hiện các cuộc trò chuyện có hại và hướng người dùng đến các nguồn hỗ trợ. Họ cũng hạn chế một số tính năng đối với người dùng nhỏ tuổi.
Các quan chức bang Pennsylvania cho biết vụ kiện này là một phần trong nỗ lực rộng lớn hơn nhằm thực thi các luật hiện hành khi các công cụ trí tuệ nhân tạo (AI) ngày càng phổ biến. Bang này đã thành lập một lực lượng đặc nhiệm thực thi luật AI và một hệ thống báo cáo các vi phạm tiềm tàng.
Trong đề xuất ngân sách năm 2026-2027, Shapiro kêu gọi các nhà lập pháp thông qua các quy định mới cho Bots hỗ trợ trí tuệ nhân tạo, bao gồm xác minh độ tuổi và sự đồng ý của phụ huynh, các biện pháp bảo vệ để gắn cờ và chuyển tiếp các báo cáo về hành vi tự gây hại hoặc bạo lực cho các cơ quan chức năng, nhắc nhở thường xuyên rằng người dùng không đang tương tác với người thật, và cấm nội dung khiêu dâm hoặc bạo lực liên quan đến trẻ vị thành niên.
“Người dân Pennsylvania có quyền biết họ đang tương tác với ai – hoặc với cái gì – trên mạng, đặc biệt là khi liên quan đến sức khỏe của họ,” Shapiro nói trong một tuyên bố. “Chúng tôi sẽ không cho phép các công ty triển khai các công cụ AI gây hiểu lầm cho mọi người, khiến họ tin rằng mình đang nhận được lời khuyên từ một chuyên gia y tế được cấp phép.”
