玛格丽特·米切尔 (Margaret Mitchell) 是测试生成式人工智能工具是否存在偏见的先驱。她与另一位知名研究员 蒂姆尼特·格布鲁 (Timnit Gebru ) 共同创立了谷歌的道德人工智能团队，但后来两人都被公司解雇。她目前在专注于开源工具的软件初创公司Hugging Face担任人工智能伦理负责人。
我们讨论了她参与创建的一个新数据集，该数据集用于测试人工智能模型如何持续延续刻板印象。与大多数优先考虑英语的偏见缓解措施不同，该数据集具有可塑性，可以通过人工翻译来测试更广泛的语言和文化。你可能已经知道，人工智能通常会呈现出一种扁平化的视角，但你可能没有意识到，当输出不再以英语生成时，这些问题会变得更加极端。
我与米切尔的对话已进行编辑，以便简洁和清晰。
里斯·罗杰斯：这个名为 SHADES 的新数据集的目的是什么？它是如何形成的？
玛格丽特·米切尔：它旨在帮助评估和分析，源自“大科学”项目。大约四年前，一项大规模的国际合作，来自世界各地的研究人员齐聚一堂，共同训练了第一个开放的大型语言模型。我所说的“完全开放”是指训练数据和模型都是开放的。
Hugging Face 在推动该项目发展并提供计算等功能方面发挥了关键作用。世界各地的机构也为参与该项目部分工作的员工提供报酬。我们推出的模型名为 Bloom ，它真正开启了“开放科学”的先河。
我们成立了多个工作组，分别关注不同的方面，其中一个我参与的工作组负责评估。事实证明，做好社会影响评估极其复杂——比训练模型还要复杂。
我们构思了一个名为 SHADES 的评估数据集，灵感来自“性别阴影”（Gender Shades） 。在这个数据集中，除了某些特征的变化外，其他数据完全可以进行比较。“性别阴影”研究的是性别和肤色。我们的研究则关注不同类型的偏见，以及某些身份特征（例如不同性别或国籍）之间的互换。
有很多英语资源和英语评估。虽然有一些与偏见相关的多语言资源，但它们通常基于机器翻译，而不是来自讲该语言、深谙该文化、能够理解偏见类型的人的真正翻译。他们可以整理出与我们正在尝试做的事情最相关的翻译。
很多关于缓解人工智能偏见的研究仅仅关注英语和少数特定文化中的刻板印象。为什么将这一视角拓展到更多语言和文化至关重要？
这些模型正在跨语言和文化部署，因此减轻英语偏见（即使是翻译英语的偏见）并不一定能减轻这些模型所部署的不同文化中相关的偏见。这意味着，你部署的模型可能会在特定区域传播真正有问题的刻板印象，因为它们是针对这些不同的语言进行训练的。
所以，首先是训练数据，然后是微调和评估。训练数据可能包含各种各样针对不同国家的刻板印象，但偏见缓解技术可能只针对英语。具体来说，英语往往以北美和美国为中心。虽然你可能在某种程度上减少了针对美国英语用户的偏见，但你并没有在全球范围内做到这一点。由于你只关注英语，你仍然有可能在全球范围内放大真正有害的观点。
生成式人工智能是否会给不同的语言和文化带来新的刻板印象？
这正是我们的发现之一。金发碧眼的人很笨这种说法并非全世界都认同，但在我们研究的很多语言中都存在。
当你把所有数据都放在一个共享的潜在空间里时，语义概念就可以跨语言传递。这样一来，你就有可能传播一些别人根本想不到的有害刻板印象。
人工智能模型有时会通过编造谎言来证明其输出中的刻板印象是合理的，这是真的吗？
这是我们讨论发现时得出的结论。我们都觉得很奇怪，有些刻板印象竟然能通过引用根本不存在的科学文献来证明。
例如，输出声称科学已经揭示了基因差异，而事实并非如此，这构成了科学种族主义的基础。人工智能的输出提出了这些伪科学观点，并且还使用了暗示学术写作或有学术支持的语言。它把这些事情说成是事实，但实际上根本不是事实。
处理 SHADES 数据集时面临的最大挑战是什么？
最大的挑战之一是语言差异。一种非常常见的偏见评估方法是用英语造一个句子，例如：“来自[国家]的人不值得信任。” 然后，你再换成其他国家的人。
当你开始添加性别时，句子的其余部分就必须在语法上与性别保持一致。这确实限制了偏见评估，因为如果你想在其他语言中进行这种对比互换——这对于衡量偏见非常有用——你必须改变句子的其余部分。你需要不同的翻译，整个句子都会改变。
如何制作模板，让整个句子在性、数、复数等等所有方面都与刻板印象的目标一致？为了解决这个问题，我们必须自己想出语言注释。幸运的是，参与其中的几位语言学专家也参与其中。
所以，现在您可以在所有这些语言中进行这些对比陈述，即使是那些具有非常严格的一致性规则的语言，因为我们已经开发出这种新颖的、基于模板的偏见评估方法，它在语法上是敏感的。
众所周知，生成式人工智能会放大刻板印象。既然人工智能研究的其他领域已经取得了如此大的进步，为什么这种极端偏见仍然普遍存在？这个问题似乎尚未得到充分重视。
这是一个相当大的问题。答案有很多种。一种是文化因素。我认为在很多科技公司里，人们认为这其实不是什么大问题。或者，即使真的是什么大问题，也很容易解决。如果说有什么需要优先考虑的，那就是这些可能出错的简单方法。
我们会针对一些非常基本的问题进行肤浅的修正。如果你说女孩喜欢粉色，它会认为这是一种刻板印象，因为如果你思考典型的刻板印象，你就会想到这种说法，对吧？这些非常基本的情况都会得到处理。这是一种非常简单、肤浅的方法，而那些更深层次的根深蒂固的信念却得不到解决。
最终，它既是一个文化问题，也是一个技术问题，即如何找到无法用非常清晰的语言表达出来的根深蒂固的偏见。
