最近，前總統、重刑犯唐納德·特朗普發佈了一系列照片，這些照片似乎表明流行歌星泰勒·斯威夫特的粉絲支持他競選美國總統。這些照片看起來像是人工智能生成的， WIRED 能夠確認它們很可能是人工智能生成的，方法是通過非營利組織 True Media 的檢測工具對其進行檢測，以確認它們顯示出“大量操縱證據”。
事情並不總是那麼簡單。生成式人工智能的使用（包括出於政治目的）已變得越來越普遍，WIRED 一直在追蹤其在世界各地選舉中的使用情況。但在美國和歐洲部分地區以外的大部分地區，由於系統訓練存在偏見，檢測人工智能生成的內容非常困難，導致記者和研究人員幾乎沒有資源來應對大量湧向他們的虛假信息。
檢測使用人工智能生成或操縱的媒體仍然是一個新興領域，這是對生成人工智能公司突然爆發式增長的回應。（僅 2023 年，人工智能初創公司就吸引了超過210 億美元的投資。）“與實際檢測合成媒體相比，現在更容易獲得的工具和技術可以讓人們真正創建合成媒體，”專注於全球南方技術政策的智庫 Tech Global Institute 的創始人 Sabhanaz Rashid Diya 表示。
非營利組織 Witness 的項目總監 Sam Gregory 表示，目前市場上的大多數工具在判斷某件東西是否由人工智能製作時只能提供 85% 到 90% 的置信率，該組織致力於幫助人們利用技術來支持人權。但是，當處理來自孟加拉國或塞內加爾等地的內容時，這些內容的主體不是白人，也不會說英語，這種置信度就會下降。“隨著工具的開發，它們會優先考慮特定的市場，”Gregory 說。在用於訓練模型的數據中，“它們優先考慮英語——帶有美國口音的英語——或西方世界占主導地位的面孔。”
這意味著 AI 模型主要使用來自西方市場的數據進行訓練，因此無法真正識別超出這些參數的任何東西。在某些情況下，這是因為公司使用互聯網上最容易獲得的數據來訓練模型，而英語是迄今為止的主要語言。“實際上，我們來自 [非洲] 的大部分數據都是紙質的，”Thraets [複印團隊注：不是打字錯誤] 的創始人 Richard Ngamita 說道，Thraets 是一個非營利性Civic科技組織，專注於非洲和全球南方其他地區的數字威脅。這意味著，除非這些數據被數字化，否則無法在其上訓練 AI 模型。
如果沒有足夠的數據來訓練 AI 模型，使其能夠準確檢測出 AI 生成或操縱的內容，那麼模型通常會返回假陽性，將真實內容標記為 AI 生成的內容，或返回假陰性，將 AI 生成的內容識別為真實內容。“如果你使用任何現成的用於檢測 AI 生成文本的工具，它們往往會檢測出非英語母語人士寫的英語，並假設非英語母語人士的寫作實際上是 AI 的，”Diya 說。“由於它們沒有接受過某些數據的訓練，因此存在很多假陽性。”
但問題不僅僅在於模型無法識別西方國家不常見的口音、語言、語法或面孔。“許多最初的深度偽造檢測工具都是在高質量媒體上進行訓練的，”格雷戈裡說。但在包括非洲在內的世界大部分地區，功能簡化的廉價中國智能手機品牌佔據了市場主導地位。Ngamita 說，這些手機能夠拍攝的照片和視頻質量要低得多，這進一步混淆了檢測模型。
格雷戈裡說，有些模型非常敏感，即使是音頻中的背景噪音，或為社交媒體壓縮的視頻，也可能導致假陽性或假陰性。“但這些正是你在現實世界中遇到的情況，粗暴的檢測，”他說。大多數記者、事實核查人員和民間社會成員可能使用的免費、面向公眾的工具也是“極其不準確的工具，無論是在處理訓練數據中代表誰的不平等方面，還是在處理這種低質量材料的挑戰方面。”
生成式人工智能並不是創建操縱媒體的唯一方式。所謂的廉價假貨，即通過添加誤導性標籤或只是放慢或編輯音頻和視頻來操縱的媒體，在全球南方也很常見，但可能會被有缺陷的模型或未經培訓的研究人員錯誤地標記為人工智能操縱。
Diya 擔心，如果某些團體使用的工具更有可能將美國和歐洲以外的內容標記為人工智能生成的內容，那麼這可能會在政策層面產生嚴重影響，促使立法者嚴厲打擊虛構的問題。“誇大這些數字的風險很大，”她說。而開發新工具絕非按一下按鈕就能搞定。
就像其他形式的人工智能一樣，構建、測試和運行檢測模型需要使用能源和數據中心，而世界上許多地方根本就沒有這些設施。“如果你在這裡談論人工智能和本地解決方案，如果沒有計算方面，我們幾乎不可能運行我們正在考慮的任何模型，”駐紮在加納的 Ngamita 說。如果沒有本地替代方案，像 Ngamita 這樣的研究人員別無選擇：付費使用 Reality Defender 提供的現成工具，但這些工具的成本可能高得令人望而卻步；使用不準確的免費工具；或者嘗試通過學術機構獲取訪問權限。
目前，Ngamita 表示，他的團隊必須與一所歐洲大學合作，以便將內容發送至該大學進行驗證。Ngamita 的團隊一直在收集整個歐洲大陸可能的深度偽造實例數據集，他說這對於試圖使其模型數據集多樣化的學者和研究人員來說非常有價值。
但將數據發送給其他人也有其缺點。“滯後時間相當長，”Diya 說。“至少需要幾周時間，人們才能自信地說這是人工智能生成的，而到那時，這些內容的損害已經造成了。”
格雷戈裡說，Witness 運行著自己的快速響應檢測程序，收到了“大量”案件。“在前線記者需要的時間範圍內處理這些案件，以及他們開始遇到的數量，已經很有挑戰性了，”他說。
但迪亞表示，過於關注檢測可能會分散資金和支持，而這些資金和支持原本可以促進信息生態系統整體更具彈性的組織和機構。她說，資金應該流向能夠培養公眾信任感的新聞媒體和民間社會組織。“我不認為資金會流向這些方面，”她說。“我認為資金應該更多地流向檢測。”
