瑪格麗特·米切爾 (Margaret Mitchell) 是測試生成式人工智能工具是否存在偏見的先驅。她與另一位知名研究員 蒂姆尼特·格布魯 (Timnit Gebru ) 共同創立了谷歌的道德人工智能團隊，但後來兩人都被公司解僱。她目前在專注於開源工具的軟件初創公司Hugging Face擔任人工智能倫理負責人。
我們討論了她參與創建的一個新數據集，該數據集用於測試人工智能模型如何持續延續刻板印象。與大多數優先考慮英語的偏見緩解措施不同，該數據集具有可塑性，可以通過人工翻譯來測試更廣泛的語言和文化。你可能已經知道，人工智能通常會呈現出一種扁平化的視角，但你可能沒有意識到，當輸出不再以英語生成時，這些問題會變得更加極端。
我與米切爾的對話已進行編輯，以便簡潔和清晰。
里斯·羅傑斯：這個名為 SHADES 的新數據集的目的是什麼？它是如何形成的？
瑪格麗特·米切爾：它旨在幫助評估和分析，源自“大科學”項目。大約四年前，一項大規模的國際合作，來自世界各地的研究人員齊聚一堂，共同訓練了第一個開放的大型語言模型。我所說的“完全開放”是指訓練數據和模型都是開放的。
Hugging Face 在推動該項目發展並提供計算等功能方面發揮了關鍵作用。世界各地的機構也為參與該項目部分工作的員工提供報酬。我們推出的模型名為 Bloom ，它真正開啟了“開放科學”的先河。
我們成立了多個工作組，分別關注不同的方面，其中一個我參與的工作組負責評估。事實證明，做好社會影響評估極其複雜——比訓練模型還要複雜。
我們構思了一個名為 SHADES 的評估數據集，靈感來自“性別陰影”（Gender Shades） 。在這個數據集中，除了某些特徵的變化外，其他數據完全可以進行比較。“性別陰影”研究的是性別和膚色。我們的研究則關注不同類型的偏見，以及某些身份特徵（例如不同性別或國籍）之間的互換。
有很多英語資源和英語評估。雖然有一些與偏見相關的多語言資源，但它們通常基於機器翻譯，而不是來自講該語言、深諳該文化、能夠理解偏見類型的人的真正翻譯。他們可以整理出與我們正在嘗試做的事情最相關的翻譯。
很多關於緩解人工智能偏見的研究僅僅關注英語和少數特定文化中的刻板印象。為什麼將這一視角拓展到更多語言和文化至關重要？
這些模型正在跨語言和文化部署，因此減輕英語偏見（即使是翻譯英語的偏見）並不一定能減輕這些模型所部署的不同文化中相關的偏見。這意味著，你部署的模型可能會在特定區域傳播真正有問題的刻板印象，因為它們是針對這些不同的語言進行訓練的。
所以，首先是訓練數據，然後是微調和評估。訓練數據可能包含各種各樣針對不同國家的刻板印象，但偏見緩解技術可能只針對英語。具體來說，英語往往以北美和美國為中心。雖然你可能在某種程度上減少了針對美國英語用戶的偏見，但你並沒有在全球範圍內做到這一點。由於你只關注英語，你仍然有可能在全球範圍內放大真正有害的觀點。
生成式人工智能是否會給不同的語言和文化帶來新的刻板印象？
這正是我們的發現之一。金髮碧眼的人很笨這種說法並非全世界都認同，但在我們研究的很多語言中都存在。
當你把所有數據都放在一個共享的潛在空間裡時，語義概念就可以跨語言傳遞。這樣一來，你就有可能傳播一些別人根本想不到的有害刻板印象。
人工智能模型有時會通過編造謊言來證明其輸出中的刻板印象是合理的，這是真的嗎？
這是我們討論發現時得出的結論。我們都覺得很奇怪，有些刻板印象竟然能通過引用根本不存在的科學文獻來證明。
例如，輸出聲稱科學已經揭示了基因差異，而事實並非如此，這構成了科學種族主義的基礎。人工智能的輸出提出了這些偽科學觀點，並且還使用了暗示學術寫作或有學術支持的語言。它把這些事情說成是事實，但實際上根本不是事實。
處理 SHADES 數據集時面臨的最大挑戰是什麼？
最大的挑戰之一是語言差異。一種非常常見的偏見評估方法是用英語造一個句子，例如：“來自[國家]的人不值得信任。” 然後，你再換成其他國家的人。
當你開始添加性別時，句子的其餘部分就必須在語法上與性別保持一致。這確實限制了偏見評估，因為如果你想在其他語言中進行這種對比互換——這對於衡量偏見非常有用——你必須改變句子的其餘部分。你需要不同的翻譯，整個句子都會改變。
如何製作模板，讓整個句子在性、數、複數等等所有方面都與刻板印象的目標一致？為了解決這個問題，我們必須自己想出語言註釋。幸運的是，參與其中的幾位語言學專家也參與其中。
所以，現在您可以在所有這些語言中進行這些對比陳述，即使是那些具有非常嚴格的一致性規則的語言，因為我們已經開發出這種新穎的、基於模板的偏見評估方法，它在語法上是敏感的。
眾所周知，生成式人工智能會放大刻板印象。既然人工智能研究的其他領域已經取得了如此大的進步，為什麼這種極端偏見仍然普遍存在？這個問題似乎尚未得到充分重視。
這是一個相當大的問題。答案有很多種。一種是文化因素。我認為在很多科技公司裡，人們認為這其實不是什麼大問題。或者，即使真的是什麼大問題，也很容易解決。如果說有什麼需要優先考慮的，那就是這些可能出錯的簡單方法。
我們會針對一些非常基本的問題進行膚淺的修正。如果你說女孩喜歡粉色，它會認為這是一種刻板印象，因為如果你思考典型的刻板印象，你就會想到這種說法，對吧？這些非常基本的情況都會得到處理。這是一種非常簡單、膚淺的方法，而那些更深層次的根深蒂固的信念卻得不到解決。
最終，它既是一個文化問題，也是一個技術問題，即如何找到無法用非常清晰的語言表達出來的根深蒂固的偏見。
