世界上40位頂尖人工智慧研究者剛剛發表了一篇論文，認為公司需要開始閱讀他們的人工智慧系統的思考過程。不是輸出結果，而是實際的逐步推理過程，即ChatGPT或Claude在給出答案之前的內部獨白。
這項名為思考鏈監控的提案旨在防止不當行為，甚至在模型給出答案之前，並且可以幫助公司在"訓練和部署決策中"設定評分，研究者們認為。
但有一個問題會讓任何曾在ChatGPT中輸入私密問題的人感到緊張：如果公司可以在部署過程中監控人工智慧的思考——當人工智慧正在與使用者互動時——那麼他們也可以監控其他任何內容。
"這種擔憂是正當的，"商業駭客初創公司0rcus的CEO Nic Addams告訴Decrypt。"原始思考鏈通常包含逐字逐句的使用者秘密，因為模型以它所攝入的相同籌碼'思考'。"
你輸入到人工智慧中的所有內容都會透過其思考鏈。健康問題、財務困難、自白——如果思考鏈監控沒有得到適當控制，所有這些都可能被記錄和分析。
"歷史站在懷疑論者一邊，"Addams警告說。"9/11後的電信元資料和1996年電信法案後的網際網路服務提供商流量日誌都是'為了安全'引入的，後來被重新用於商業分析和傳票。除非保留透過加密強制執行，訪問受到法律約束，否則同樣的重力將作用於思考鏈檔案。"
Career Nomad的CEO Patrice Williams-Lindo對這種方法的風險也持謹慎態度。
"我們以前見過這種劇本。還記得社交媒體是如何從'連線你的朋友'變成監控經濟嗎？這裡可能也是同樣的情況，"她告訴Decrypt。
她預測會出現一個"同意劇場"的未來，在這個未來中，"公司假裝尊重隱私，但將思考鏈監控隱藏在40頁的條款中"。
"沒有全球性的防護措施，思考鏈日誌將被用於從廣告定向到企業工具中的'員工風險畫像'等各種用途。特別要注意人力資源技術和生產力人工智慧中的這種情況。"
技術現實使這一點尤其令人擔憂。大語言模型只有在使用思考鏈時才能進行復雜的多步驟推理。隨著人工智慧變得更加強大，監控變得既更加必要，又更具侵入性。
谷歌的設計leader Tej Kalianda並不反對這個提議，但強調透明度的重要性，以便使用者可以對人工智慧的行為感到舒適。
"使用者不需要完整的模型內部資訊，但他們需要從人工智慧聊天機器人那裡知道，'這就是你看到這個的原因'，或者'這是我不能再說的內容'，"她告訴Decrypt。"好的設計可以讓黑匣子看起來更像一個視窗。"
她補充道："在傳統搜尋引擎（如谷歌搜尋）中，使用者可以看到每個結果的來源。他們可以點選，驗證網站的可信度，並做出自己的決定。這種透明度給使用者一種主動性和信心的感覺。而在人工智慧聊天機器人中，這種背景often消失了。"
出於安全考慮，公司可能會讓使用者選擇不將其資料用於訓練，但這些條件不一定適用於模型的思考鏈——這是一個人工智慧輸出，不受使用者控制——而且人工智慧模型通常會複製使用者提供的資訊以進行適當的推理。
那麼，有沒有一種在不損害隱私的情況下提高安全性的解決方案？
Addams提出了保障措施："緩解措施：具有零天保留期的記憶體跟蹤，儲存前對個人可識別資訊進行確定性雜湊，使用者端編輯，以及任何聚合分析上的差分隱私噪聲。"
但Williams-Lindo仍然持懷疑態度。"我們需要負責任的人工智慧，而不是表演性的——這意味著透過設計實現透明，而不是預設監控。"
對於使用者來說，現在這還不是問題——但如果實施不當，就可能成為問題。可以防止人工智慧災難的同一項技術，也可能將每一次聊天機器人對話變成一個被記錄、分析和潛在商業化的資料點。
正如Addams警告的，要注意"一次暴露原始思考鏈的洩露，一個顯示監控規避率超過90%的公開基準，或者將思考鏈歸類為受保護個人資料的新的歐盟或加州法規"。
研究者呼籲採取諸如資料最小化、關於日誌記錄的透明度以及刪除未標記資料等保障措施。但要實施這些，就需要信任控制監控的同一家公司。
但隨著這些系統變得越來越強大，當它們能夠閱讀我們的思想時，誰來監督這些監督者呢？
