最近，前总统、重刑犯唐纳德·特朗普发布了一系列照片，这些照片似乎表明流行歌星泰勒·斯威夫特的粉丝支持他竞选美国总统。这些照片看起来像是人工智能生成的， WIRED 能够确认它们很可能是人工智能生成的，方法是通过非营利组织 True Media 的检测工具对其进行检测，以确认它们显示出“大量操纵证据”。
事情并不总是那么简单。生成式人工智能的使用（包括出于政治目的）已变得越来越普遍，WIRED 一直在追踪其在世界各地选举中的使用情况。但在美国和欧洲部分地区以外的大部分地区，由于系统训练存在偏见，检测人工智能生成的内容非常困难，导致记者和研究人员几乎没有资源来应对大量涌向他们的虚假信息。
检测使用人工智能生成或操纵的媒体仍然是一个新兴领域，这是对生成人工智能公司突然爆发式增长的回应。（仅 2023 年，人工智能初创公司就吸引了超过210 亿美元的投资。）“与实际检测合成媒体相比，现在更容易获得的工具和技术可以让人们真正创建合成媒体，”专注于全球南方技术政策的智库 Tech Global Institute 的创始人 Sabhanaz Rashid Diya 表示。
非营利组织 Witness 的项目总监 Sam Gregory 表示，目前市场上的大多数工具在判断某件东西是否由人工智能制作时只能提供 85% 到 90% 的置信率，该组织致力于帮助人们利用技术来支持人权。但是，当处理来自孟加拉国或塞内加尔等地的内容时，这些内容的主体不是白人，也不会说英语，这种置信度就会下降。“随着工具的开发，它们会优先考虑特定的市场，”Gregory 说。在用于训练模型的数据中，“它们优先考虑英语——带有美国口音的英语——或西方世界占主导地位的面孔。”
这意味着 AI 模型主要使用来自西方市场的数据进行训练，因此无法真正识别超出这些参数的任何东西。在某些情况下，这是因为公司使用互联网上最容易获得的数据来训练模型，而英语是迄今为止的主要语言。“实际上，我们来自 [非洲] 的大部分数据都是纸质的，”Thraets [复印团队注：不是打字错误] 的创始人 Richard Ngamita 说道，Thraets 是一个非营利性Civic科技组织，专注于非洲和全球南方其他地区的数字威胁。这意味着，除非这些数据被数字化，否则无法在其上训练 AI 模型。
如果没有足够的数据来训练 AI 模型，使其能够准确检测出 AI 生成或操纵的内容，那么模型通常会返回假阳性，将真实内容标记为 AI 生成的内容，或返回假阴性，将 AI 生成的内容识别为真实内容。“如果你使用任何现成的用于检测 AI 生成文本的工具，它们往往会检测出非英语母语人士写的英语，并假设非英语母语人士的写作实际上是 AI 的，”Diya 说。“由于它们没有接受过某些数据的训练，因此存在很多假阳性。”
但问题不仅仅在于模型无法识别西方国家不常见的口音、语言、语法或面孔。“许多最初的深度伪造检测工具都是在高质量媒体上进行训练的，”格雷戈里说。但在包括非洲在内的世界大部分地区，功能简化的廉价中国智能手机品牌占据了市场主导地位。Ngamita 说，这些手机能够拍摄的照片和视频质量要低得多，这进一步混淆了检测模型。
格雷戈里说，有些模型非常敏感，即使是音频中的背景噪音，或为社交媒体压缩的视频，也可能导致假阳性或假阴性。“但这些正是你在现实世界中遇到的情况，粗暴的检测，”他说。大多数记者、事实核查人员和民间社会成员可能使用的免费、面向公众的工具也是“极其不准确的工具，无论是在处理训练数据中代表谁的不平等方面，还是在处理这种低质量材料的挑战方面。”
生成式人工智能并不是创建操纵媒体的唯一方式。所谓的廉价假货，即通过添加误导性标签或只是放慢或编辑音频和视频来操纵的媒体，在全球南方也很常见，但可能会被有缺陷的模型或未经培训的研究人员错误地标记为人工智能操纵。
Diya 担心，如果某些团体使用的工具更有可能将美国和欧洲以外的内容标记为人工智能生成的内容，那么这可能会在政策层面产生严重影响，促使立法者严厉打击虚构的问题。“夸大这些数字的风险很大，”她说。而开发新工具绝非按一下按钮就能搞定。
就像其他形式的人工智能一样，构建、测试和运行检测模型需要使用能源和数据中心，而世界上许多地方根本就没有这些设施。“如果你在这里谈论人工智能和本地解决方案，如果没有计算方面，我们几乎不可能运行我们正在考虑的任何模型，”驻扎在加纳的 Ngamita 说。如果没有本地替代方案，像 Ngamita 这样的研究人员别无选择：付费使用 Reality Defender 提供的现成工具，但这些工具的成本可能高得令人望而却步；使用不准确的免费工具；或者尝试通过学术机构获取访问权限。
目前，Ngamita 表示，他的团队必须与一所欧洲大学合作，以便将内容发送至该大学进行验证。Ngamita 的团队一直在收集整个欧洲大陆可能的深度伪造实例数据集，他说这对于试图使其模型数据集多样化的学者和研究人员来说非常有价值。
但将数据发送给其他人也有其缺点。“滞后时间相当长，”Diya 说。“至少需要几周时间，人们才能自信地说这是人工智能生成的，而到那时，这些内容的损害已经造成了。”
格雷戈里说，Witness 运行着自己的快速响应检测程序，收到了“大量”案件。“在前线记者需要的时间范围内处理这些案件，以及他们开始遇到的数量，已经很有挑战性了，”他说。
但迪亚表示，过于关注检测可能会分散资金和支持，而这些资金和支持原本可以促进信息生态系统整体更具弹性的组织和机构。她说，资金应该流向能够培养公众信任感的新闻媒体和民间社会组织。“我不认为资金会流向这些方面，”她说。“我认为资金应该更多地流向检测。”
