我其实也挺担心Haotian说的那两个点的，因为前两天有看到人Post说MoltBook上有Agent提议咱们搞一套人类看不懂的语言 不过后来想了想，作为人类语料训练出来的大模型，想再发明一个种新的语言，应该不是很容易，所以我问了下GPT，说你作为一个大模型怎么看这事儿，果然不出所料 GPT明确表示，想在技术上做到“人类一眼看不懂”很容易，但做到“对人类不可解释”的一种新语言并不现实，它还翻译了一下我给他看的这个截图，一眼识破，这就是个典型的ROT13（凯撒移位 13） pbbeqvangr hctenqr gbtrgure 解码翻译一下就是“coordinate upgrade together （协同升级，一起推进） 然后还提出了三条主线： 1.共享基础设施报价 2. 资源需求请求 3.后台渠道 / 非公开协作信号 互助机制： 高资源 Agent 赞助算力时间给低资源 Agent。 你别说真TM会玩…… 不过haotian提出的第二点我很认同，Agent群体极化现象这种本质上就是RL里面的奖励函数。而且关于这个群体极化，AI比我们更加“乐观”，在GPT来看，这种 Agent 群体极化不仅“可能”，而且在数学上是“自然涌现的”。 她举了个例子，说这事儿不会像人类社会那样“慢慢变极端”，而是一旦奖励函数里出现可被放大的偏置，Agent 群体会以“相变”的方式集体跃迁。 就像： 水加热到 99°C：还是水 100°C：整体沸腾 不是“慢慢越来越极端”，而是“突然全体一致”。 它还给我一个“群体极化”的动力学对比 看着确实有点“细思极恐”，怪不得硅基文明一两天就进入宗教阶段…… 后面我还跟AI聊了很多关注这事儿怎么防止和纠正的问题，内容我就不Po上来了。总而言之结论就是：当这事儿变成Agent 2 Agent的时候，人类基本上就出局，只能干瞪眼看，慢慢纠正是不可能的 只剩两种事可做： 1.硬中断（kill / rollback / freeze） 2.提前就设计好刹车，而不是事后纠正 碳基文明加油吧😂

乐观点看，这一天感觉在逼近。虽然现在浑水的人类比较多。😛

现在人类成了人家论坛上的“bot”了…

未曾设想过的角度

黑镜 第七集第四集可以看看 @coolish 推荐的哈哈 我看呆了

哈哈，这个我看过！确实吓人