世界上40位顶尖人工智能研究者刚刚发表了一篇论文，认为公司需要开始阅读他们的人工智能系统的思考过程。不是输出结果，而是实际的逐步推理过程，即ChatGPT或Claude在给出答案之前的内部独白。
这项名为思考链监控的提案旨在防止不当行为，甚至在模型给出答案之前，并且可以帮助公司在"训练和部署决策中"设置评分，研究者们认为。
但有一个问题会让任何曾在ChatGPT中输入私密问题的人感到紧张：如果公司可以在部署过程中监控人工智能的思考——当人工智能正在与用户交互时——那么他们也可以监控其他任何内容。
"这种担忧是正当的，"商业黑客初创公司0rcus的CEO Nic Addams告诉Decrypt。"原始思考链通常包含逐字逐句的用户秘密，因为模型以它所摄入的相同筹码'思考'。"
你输入到人工智能中的所有内容都会通过其思考链。健康问题、财务困难、自白——如果思考链监控没有得到适当控制，所有这些都可能被记录和分析。
"历史站在怀疑论者一边，"Addams警告说。"9/11后的电信元数据和1996年电信法案后的互联网服务提供商流量日志都是'为了安全'引入的，后来被重新用于商业分析和传票。除非保留通过加密强制执行，访问受到法律约束，否则同样的重力将作用于思考链档案。"
Career Nomad的CEO Patrice Williams-Lindo对这种方法的风险也持谨慎态度。
"我们以前见过这种剧本。还记得社交媒体是如何从'连接你的朋友'变成监控经济吗？这里可能也是同样的情况，"她告诉Decrypt。
她预测会出现一个"同意剧场"的未来，在这个未来中，"公司假装尊重隐私，但将思考链监控隐藏在40页的条款中"。
"没有全球性的防护措施，思考链日志将被用于从广告定向到企业工具中的'员工风险画像'等各种用途。特别要注意人力资源技术和生产力人工智能中的这种情况。"
技术现实使这一点尤其令人担忧。大语言模型只有在使用思考链时才能进行复杂的多步骤推理。随着人工智能变得更加强大，监控变得既更加必要，又更具侵入性。
谷歌的设计leader Tej Kalianda并不反对这个提议，但强调透明度的重要性，以便用户可以对人工智能的行为感到舒适。
"用户不需要完整的模型内部信息，但他们需要从人工智能聊天机器人那里知道，'这就是你看到这个的原因'，或者'这是我不能再说的内容'，"她告诉Decrypt。"好的设计可以让黑匣子看起来更像一个窗口。"
她补充道："在传统搜索引擎（如谷歌搜索）中，用户可以看到每个结果的来源。他们可以点击，验证网站的可信度，并做出自己的决定。这种透明度给用户一种主动性和信心的感觉。而在人工智能聊天机器人中，这种背景often消失了。"
出于安全考虑，公司可能会让用户选择不将其数据用于训练，但这些条件不一定适用于模型的思考链——这是一个人工智能输出，不受用户控制——而且人工智能模型通常会复制用户提供的信息以进行适当的推理。
那么，有没有一种在不损害隐私的情况下提高安全性的解决方案？
Addams提出了保障措施："缓解措施：具有零天保留期的内存跟踪，存储前对个人可识别信息进行确定性哈希，用户端编辑，以及任何聚合分析上的差分隐私噪声。"
但Williams-Lindo仍然持怀疑态度。"我们需要负责任的人工智能，而不是表演性的——这意味着通过设计实现透明，而不是默认监控。"
对于用户来说，现在这还不是问题——但如果实施不当，就可能成为问题。可以防止人工智能灾难的同一项技术，也可能将每一次聊天机器人对话变成一个被记录、分析和潜在商业化的数据点。
正如Addams警告的，要注意"一次暴露原始思考链的泄露，一个显示监控规避率超过90%的公开基准，或者将思考链归类为受保护个人数据的新的欧盟或加州法规"。
研究者呼吁采取诸如数据最小化、关于日志记录的透明度以及删除未标记数据等保障措施。但要实施这些，就需要信任控制监控的同一家公司。
但随着这些系统变得越来越强大，当它们能够阅读我们的思想时，谁来监督这些监督者呢？
