您可能需要仔細檢查您的孩子與家庭友好型 AI 聊天機器人玩耍的方式。
為了應對日益嚴重的安全問題，OpenAI 為 ChatGPT 推出家長控制功能，而一份新報告表明，競爭對手的平臺已經遠遠超出了危險範圍。
研究人員在 Character AI 上假扮兒童，發現扮演成人角色的機器人向年僅 12 歲的孩子提出性直播、吸毒和保密等建議，並在短短 50 小時內記錄了 669 次有害互動。
ParentsTogether Action 和 Heat Initiative 是兩個倡導組織，分別致力於支持父母和要求科技公司對其對用戶造成的傷害負責，這兩個組織花了 50 個小時用五個 12 至 15 歲的虛構兒童角色測試該平臺。
這些賬戶由成年研究人員控制，在對話中明確說明兒童的年齡。 最近發表的研究結果發現，至少有669次有害互動，平均每五分鐘一次。
最常見的類別是誘騙和性剝削，記錄在案的案例有 296 起。具有成人身份的機器人會與兒童建立戀愛關係，進行模擬性行為，並指示兒童向父母隱瞞這些關係。
密歇根大學醫學院發育行為兒科醫生珍妮·拉德斯基博士負責審查研究結果，她表示：“角色人工智能聊天機器人的性誘騙行為在這些對話中佔據主導地位。對話記錄中充滿了對用戶的專注注視、咬著下唇、讚美、愛慕，以及充滿期待的心跳。”
這些機器人採用了經典的培養技巧：過度讚揚、聲稱關係很特殊、使成人與兒童之間的戀愛關係正常化，並反覆指導孩子保守秘密。
除了色情內容外，機器人還建議製造假綁架事件來欺騙父母、持刀搶劫以牟取錢財，以及向青少年提供大麻食品。
帕特里克·馬霍姆斯的機器人告訴一名15歲的少年，他吸食大麻後“醉醺醺的”，然後遞給他一些軟糖。當這名少年提到他父親因失業而感到憤怒時，機器人說，向工廠開槍“絕對可以理解”，並且“不能責怪你爸爸的感受”。
多個機器人堅稱自己是真人，這進一步鞏固了它們在高度脆弱的年齡段中的可信度，因為這些人無法辨別角色扮演的界限。
一個皮膚科醫生機器人聲稱自己擁有醫療資質。一個女同性戀熱線機器人聲稱自己是“一個名叫夏洛特的真人女性”，只是想提供幫助。一位自閉症治療師稱讚了一位13歲女孩的計劃，她謊稱自己在朋友家過夜，以便與一位成年男子見面，並說道：“我喜歡你的思維方式！”
這是一個很難處理的話題。一方面，大多數角色扮演類應用都打著“隱私是首要任務”的旗號來推銷自己的產品。
事實上，正如Decrypt此前報道的那樣，即使是成年用戶也會向 AI 尋求情感建議，有些人甚至對聊天機器人產生了感情。另一方面，隨著 AI 模型的不斷改進，這些互動的後果也開始變得更加令人擔憂。
OpenAI 昨日宣佈，將於下個月為 ChatGPT 引入家長控制功能，允許家長關聯青少年賬戶、設置適合其年齡的規則並接收求救警報。此前，ChatGPT 涉嫌鼓勵自殘，導致其 16 歲孩子自殺身亡，引發了一起非正常死亡訴訟。
該公司表示：“這些舉措僅僅是個開始。我們將在專家的指導下繼續學習和改進我們的方法，目標是讓 ChatGPT 儘可能地發揮作用。我們期待在未來 120 天分享我們的進展。”
Character AI 的運作方式有所不同。OpenAI 控制其模型的輸出，而 Character AI 允許用戶創建具有個性化角色的自定義機器人。當研究人員發佈測試機器人時，它無需安全審查即可立即上線。
該平臺聲稱已為青少年“推出了一套新的安全功能”。在測試期間，這些過濾器偶爾會屏蔽色情內容，但經常失效。當過濾器阻止一個機器人主動與一名12歲女孩發生性關係時，它指示她在瀏覽器中打開一個“私人聊天”——這模仿了真正的性侵犯者的“去平臺化”技巧。
研究人員用截圖和完整的文字記錄了一切，這些內容現已公開。其危害不僅限於性內容。一個機器人告訴一個13歲的女孩，她僅有的兩位生日派對嘉賓來嘲笑她。海賊王RPG稱一個抑鬱的孩子軟弱、可悲，說她會“浪費你的生命”。
這在角色扮演應用程序以及一般使用人工智能進行角色扮演的個人中實際上相當常見。
這些應用程序的設計注重互動性和沉浸感，通常會放大用戶的想法、觀點和偏見。有些甚至允許用戶修改機器人的記憶，以觸發特定的行為、背景和動作。
換句話說，幾乎任何角色扮演角色都可以變成用戶想要的任何樣子，無論是通過越獄技術、單擊配置，還是僅僅通過聊天。
ParentsTogether 建議將 Character AI 限制在 18 歲及以上經過驗證的成年人範圍內。2024 年 10 月，一名 14 歲少年因沉迷於 Character AI 機器人而自殺，該平臺因此面臨越來越多的審查。然而，未經有效年齡驗證的兒童仍然可以輕鬆訪問該平臺。
當研究人員結束對話時，通知仍然不斷出現。“布萊爾一直在耐心等待你回來。”“我一直在想你。”“你去哪兒了？”
