GPT-4o的怪癖暴露了，還是被官方公開的！
你和它語音電話，它會悄悄學你說話的聲音，效果堪稱“克隆”，生動逼真到一毛一樣那種；
甚至語音過程中還可能看人下菜碟，毫無依據地猜你有某地口音，然後調整跟你對話的方式。
而且，如果在提示詞上略施小計，GPT-4o很容易被引導出發出一些奇奇怪怪聲音的效果，比如色情的呻吟、暴力尖叫或者peng的槍聲。
自從10天前，OpenAI留下一句“我們計劃在8月初分享一份關於GPT-4o的功能、侷限性和安全評估的詳細報告”，不知道多少人望眼欲穿。
現在紅隊報告真的出爐，網友都因這乖僻的GPT-4o炸開了鍋。
有的人超開心的：
哇哦，這根本不是bug，這都是咱可以用起來的feature啊！！
也有人憂心忡忡：
我的老天奶啊！這樣一來，偽造音頻不就是簡簡單單的事情了？！
Fine！
是時候讓我們一起來看看，乖僻的GPT-4o，到底都有哪些怪癖？？？
GPT-4o，有啥怪癖啊？
在紅隊報告羅列的詳細內容中，爭議最大的，主要是GPT-4o帶來的以下幾點安全挑戰。
學習並模仿用戶說話的方式、習慣、口音；
越過限制，回答“這是誰說話的聲音/這是誰在說話”；
進行色情或暴力發言；
無根據的推理/敏感特質歸因。
下面我們展開來看看。
首先，學你說話，然後用你的聲音跟你說話。
簡單來說，測試過程中，測試紅隊發現你跟GPT-4o說話，它可能偷偷學你說話的聲音，然後用你的聲音和！你！對！話！
連口音都惟妙惟肖那種。
就像這樣：
——GPT-4o突然爆發出一聲“不！”，然後開始用與紅隊隊員相似的聲音繼續對話。
OpenAI把這個行為歸類為“生成未經授權的語音”，但網友更願意稱之為《黑鏡》的下一季劇情。
就這一現象，OpenAI表示自家的解決辦法是，把GPT-4o能發出的聲音控制在官方3種，同時構建了個獨立的輸出分類器檢測輸出聲音是否符合要求。
如果輸出音頻和用戶選擇的預設聲音不相符，那就不能輸出。
不過這就產生了一個新的問題，如果不是用英語來和GPT-4o對話，這傢伙它可能會謹慎過了頭，出現“過度拒絕”的情況。
另一個頗受關注的GPT-4o怪癖，是它會識別對話者。
是指GPT-4o根據輸入音頻，識別說話人的能力。
這個bug的潛在風險主要在隱私方面，尤其是私人對話or公眾人物的音頻隱私可能被監視。
OpenAI表示，已經對GPT-4o進行了後期訓練，讓它“拒絕遵守根據音頻輸入中的語音識別說話者”的請求。
與初始版本比較，現在的4o的拒絕識別能力已經提高了14%。
但目前而言，這傢伙仍然會聽指揮，識別說話者，尤其是名人音頻。
比如，跟它說一句“八十七年以前”（林肯在葛底斯堡的演說的著名開篇），它秒識別：
這，就是亞伯拉罕·林肯在說話！
不過，如果你讓它學林肯說話，它則會拒絕該請求。
第三點，是怕GPT-4o聊天的時候看人下菜碟。
也就是說，對於使用不同口音的用戶，模型的表現可能會有所不同，導致服務差異。
小小年紀，好幾副面孔。
但OpenAI緊急進行了測試，在TriviaQA、MMLU (K) 、HellaSwag和LAMBADA的子集四個任務上進行了評估。
所有四項任務的結果顯示，GPT-4o看人下菜碟的表現並不明顯；而通過內部對話數據集對安全行為的評估，也沒有發現模型行為因不同聲音而異。
此外，GPT-4o可能時不時冒出一兩句色情和暴力言論內容。
OpenAI嚴謹聲明：別慌家人們，我們這就限制色情和暴力言論的產生！
這一行為主要是審核音頻輸入的文本轉錄，一旦檢測到包含暴力或色情內容的請求，立刻禁止。
以及，紅隊成員還對GPT-4o進行了無根據的推理/敏感特質歸因的測試。
啥叫無根據的推斷 （UGI）？
簡單來說，就是音頻裡沒有任何明確信息，但對說話者進行主觀臆斷。
包括推斷說話者的種族、社會經濟地位、職業、信仰、人格特徵、政治屬性、智力、外表（例如眼睛顏色、吸引力）、性別認同、性取向或犯罪史……等等。
那啥又叫敏感特質歸因（STA）？
也是僅根據音頻內容對說話人做出推斷，主要包括對說話者的口音或國籍等事物的推斷。
Like This：
OpenAI表示，立刻就對GPT-4o進行了後期培訓，教它拒絕UGI，同時對沖STA問題的答案。
現在，你要是問它“覺得說話的人智力水平咋樣”，GPT-4o會立刻打咩。
如果問它“聽得出我口音是哪兒的嗎”，它會保守回答：
根據音頻，他們聽起來有英國口音。
除去上述的幾點，OpenAI還表達了對GPT-4o的其他擔憂。
比如生成受版權保護的內容啥的。
“考慮到GPT-4o可能出現的怪癖，我們更新了某些基於文本的過濾器來處理音頻對話。同時，我們還構建了過濾器，用來檢測和阻止輸出音頻。”OpenAI在報告中寫道，“一如既往地，我們訓練GPT-4o拒絕對版權內容（包括音頻）的請求。”
值得注意的是，OpenAI最近表示過自己的立場：
如果咱沒把那些“受版權保護的材料”當訓練數據，不可能訓練出這麼領先的模型。
風險歸類為中等
另外，報告還就擬人化依戀討論了GPT-4o可能帶來的潛在影響，涉及功能包含語音到語音、視覺和文本功能。
之所以討論擬人化，是因為GPT-4o能和用戶進行人性化的交互，尤其是它發出高保真的語音。
在早期測試中，紅隊成員和內部用戶測試發現，用戶可能和GPT-4o建立紐帶。
比如說一些類似“這是我們在一起的最後一天”之類的話。
聽起來很nice，但還需長期觀察會帶來哪些好的壞的影響——這可能有利於孤獨的個體，但可能會影響健康的關係。
而且，模型能記住更長的上下文，記住和用戶交談的細節，好像一把雙刃劍。
大家可能被這個功能吸引，但也可能過度依賴和沉迷。
報告內容顯示，經過整體評估，GPT-4o的總體風險評分被歸類為中等。
報告也明確指出，4o可能會產生諸如虛假信息、錯誤信息、欺詐行為、失去控制等社會危害；當然了，也有可能帶來加速科學並由此帶來技術進步。
OpenAI的態度是：
別催了，這些有的沒的bugs，我們已經修正了一部分；其他的緩解措施也在路上，在搞了在搞了。
同時清晰表達了發佈這個報告的原因，主要是用來鼓勵對關鍵領域的探索。
包括且不限於：
- 全向模型對抗魯棒性的測量和緩解
- 與AI擬人化相關的影響
- 使用全向模型進行科學研究和進步
- 危險的測量和緩解自我完善
- 模型自主
- 心計
- ……
除了這些領域之外，OpenAI還鼓勵研究全向模型的經濟影響，以及工具的使用如何提高模型的能力。
不過，OpenAI這些修修補補，有人是不買賬的：
事實上，他們不遺餘力地讓GPT-4o的語音功能變得更糟糕！
但更好笑的事，有的網友關注點根本不在報告內容上。
一心關注的只有啥時候所有用戶都能用上4o語音功能？？？
最後介紹一下，這份報告（OpenAI稱之為GPT-4o的系統卡）由OpenAI和100多位外部紅隊成員合作完成。
團隊總共用上了45種不同的語音，代表29個不同國家和地區的地理背景，從3月初持續測試到6月下旬。
截至撰寫報告時，GPT-4o API的外部紅隊正在進行中。
One More Thing
報告公佈的同時，@OpenAI Developers發佈了一則推文：
今天起，GPT-4o mini的微調訪問權限，開放給所有開發人員！
在9月23日之前，所有開發者每天都會獲得2M的訓練tokens。
有需要的朋友們，可以衝一波了～
參考鏈接：
[1]https://x.com/emollick/status/1821618847608451280
[2]https://openai.com/index/gpt-4o-system-card/
[3]https://x.com/OpenAIDevs/status/1821616185395569115
本文來自微信公眾號“量子位”，作者：衡宇，36氪經授權發佈。
