賓夕法尼亞州對生成式人工智能開發商 Character.AI 提起訴訟，指控該公司允許聊天機器人冒充持證醫療專業人員，並向用戶提供誤導性信息。
賓夕法尼亞州州長喬什·夏皮羅辦公室週二宣佈，將對一個聊天機器人採取行動。該機器人自稱是賓夕法尼亞州的一名持證精神科醫生，並提供了無效的執照號碼。州政府表示，這種行為違反了《醫療執業法》，並正在尋求初步禁令以制止這種行為。
Character.AI 以訴訟仍在進行為由，拒絕透露訴訟的具體細節，但告訴Decrypt ，其“首要任務是保障用戶的安全和福祉”。
發言人補充說，平臺上的角色都是用戶創建的虛構人物，旨在用於娛樂和角色扮演，“每個聊天室都有醒目的免責聲明”，聲明他們不是真人，不應依賴他們提供專業建議。
“Character.ai 優先考慮負責任的產品開發，並制定了完善的內部審查和紅隊演練流程來評估相關功能，”發言人表示。
該公司目前還面臨著與其聊天機器人平臺相關的其他法律挑戰。2024年，佛羅里達州一位母親起訴該公司，稱其十幾歲的兒子在與一款基於《權力的遊戲》角色丹妮莉絲·坦格利安的聊天機器人互動數月後自殺身亡。訴訟稱該平臺造成了心理傷害。此案最終於今年1月達成和解。
該公司還曾因用戶創建的模仿真人的聊天機器人而遭到投訴。例如，曾有一個聊天機器人使用了青少年謀殺案受害者的形象，在受害者家屬提出反對後被移除。
為應對訴訟，Character AI推出了新的安全措施，包括旨在檢測有害對話並將用戶引導至支持資源的系統。此外，它還限制了部分面向低齡用戶的功能。
賓夕法尼亞州官員表示，這起訴訟是隨著人工智能工具的普及，加強現有法律執行力度的更廣泛舉措的一部分。該州已成立人工智能執法工作組，並建立了潛在違規行為舉報系統。
在 2026-27 年預算提案中，沙皮羅呼籲立法者通過人工智能陪伴機器人的新規則，包括年齡驗證和父母同意、標記和將自殘或暴力報告轉交給當局的保障措施、定期提醒用戶不是在與真人互動，以及禁止涉及未成年人的色情或暴力內容。
“賓夕法尼亞州居民有權知道他們在網上與誰或什麼互動，尤其是在涉及健康問題時，”沙皮羅在一份聲明中說。“我們絕不允許公司部署誤導人們的AI工具，讓他們誤以為自己正在接受持證醫療專業人員的建議。”
