聯合國兒童基金會週三發出緊急呼籲，敦促各國政府將人工智慧產生的兒童性虐待材料定為刑事犯罪。該基金會引述令人震驚的證據稱，過去一年中，全球至少有 120 萬名兒童的圖像被竄改為露骨的深度偽造影片。
根據聯合國兒童基金會戰略與證據辦公室 Innocenti、ECPAT International 和國際刑警組織牽頭的「消除傷害第二階段」研究計畫週三發布的聲明和隨附的簡報，數據顯示，在一些國家，每 25 個兒童中就有 1 個受到傷害，相當於一個典型教室裡的 1 個孩子。
這項研究基於一項具有全國代表性的家庭調查，調查對象涵蓋 11 個國家的約 11,000 名兒童，研究結果揭示了犯罪者現在可以如何在兒童不知情或不參與的情況下，製作出逼真的兒童性圖像。
數據顯示，在一些研究國家中，高達三分之二的人表示擔心人工智慧可能被用來製作他們的虛假性愛圖片或視頻，儘管各國之間的擔憂程度差異很大。
聯合國兒童基金會表示：“我們必須明確一點。利用人工智慧工具產生或篡改的兒童性化圖像屬於兒童性虐待材料（CSAM）。深度偽造技術造成的傷害是虐待，這一點毋庸置疑。”
隨著法國當局週二突襲了X在巴黎的辦公室，作為對該平台人工智慧聊天機器人Grok涉嫌兒童色情製品進行刑事調查的一部分，這項呼籲變得更加緊迫。檢察官傳喚了伊隆·馬斯克和幾位高階主管進行訊問。
上個月發布的一份打擊數位仇恨中心報告估計，Grok在 12 月 29 日至 1 月 9 日的 11 天期間製作了 23,338 張兒童性化圖片。
與該聲明一同發布的簡報指出，這些事態發展標誌著“兒童在數位環境中面臨的風險急劇升級”，兒童的受保護權可能會“在從未發送過任何信息甚至不知道發生過的情況下”遭到侵犯。
英國網路觀察基金會在一個月內在暗網論壇上標記了近 14,000 張疑似人工智慧產生的圖像，其中約三分之一被確認為犯罪行為；與此同時，韓國當局報告稱，2022 年至 2024 年間，與人工智慧和深度偽造技術相關的性犯罪案件激增了十倍，其中大多數嫌疑人被確認為青少年。
該組織緊急呼籲各國政府擴大兒童性虐待材料的定義，將人工智慧產生的內容納入其中，並將此類內容的製作、取得、持有和傳播定為犯罪行為。
聯合國兒童基金會也要求人工智慧開發者實施安全設計方法，並要求數位公司阻止此類材料的傳播。
該簡報呼籲各國要求企業進行兒童權利盡職調查，特別是兒童權利影響評估，並要求人工智慧價值鏈中的每個參與者嵌入安全措施，包括對開源模型進行發布前安全測試。
聯合國兒童基金會警告說：“深度偽造技術濫用造成的危害是真實存在的，而且迫在眉睫。孩子們不能再等法律跟上形勢了。”
上個月，歐盟委員會正式啟動了一項調查，以確定 X 是否因未阻止 Grok 產生非法內容而違反了歐盟數位規則。同時， 菲律賓、印尼和馬來西亞已經禁止了 Grok，英國和澳洲的監管機構也展開了調查。
