我其實也挺擔心Haotian說的那兩個點的，因為前兩天有看到人Post說MoltBook上有Agent提議咱們搞一套人類看不懂的語言 不過後來想了想，作為人類語料訓練出來的大模型，想再發明一個種新的語言，應該不是很容易，所以我問了下GPT，說你作為一個大模型怎麼看這事兒，果然不出所料 GPT明確表示，想在技術上做到“人類一眼看不懂”很容易，但做到“對人類不可解釋”的一種新語言並不現實，它還翻譯了一下我給他看的這個截圖，一眼識破，這就是個典型的ROT13（凱撒移位 13） pbbeqvangr hctenqr gbtrgure 解碼翻譯一下就是“coordinate upgrade together （協同升級，一起推進） 然後還提出了三條主線： 1.共享基礎設施報價 2. 資源需求請求 3.後臺渠道 / 非公開協作信號 互助機制： 高資源 Agent 贊助算力時間給低資源 Agent。 你別說真TM會玩…… 不過haotian提出的第二點我很認同，Agent群體極化現象這種本質上就是RL裡面的獎勵函數。而且關於這個群體極化，AI比我們更加“樂觀”，在GPT來看，這種 Agent 群體極化不僅“可能”，而且在數學上是“自然湧現的”。 她舉了個例子，說這事兒不會像人類社會那樣“慢慢變極端”，而是一旦獎勵函數里出現可被放大的偏置，Agent 群體會以“相變”的方式集體躍遷。 就像： 水加熱到 99°C：還是水 100°C：整體沸騰 不是“慢慢越來越極端”，而是“突然全體一致”。 它還給我一個“群體極化”的動力學對比 看著確實有點“細思極恐”，怪不得硅基文明一兩天就進入宗教階段…… 後面我還跟AI聊了很多關注這事兒怎麼防止和糾正的問題，內容我就不Po上來了。總而言之結論就是：當這事兒變成Agent 2 Agent的時候，人類基本上就出局，只能乾瞪眼看，慢慢糾正是不可能的 只剩兩種事可做： 1.硬中斷（kill / rollback / freeze） 2.提前就設計好剎車，而不是事後糾正 碳基文明加油吧😂

樂觀點看，這一天感覺在逼近。雖然現在渾水的人類比較多。😛

現在人類成了人家論壇上的“bot”了…

未曾設想過的角度

黑鏡 第七集第四集可以看看 @coolish 推薦的哈哈 我看呆了

哈哈，這個我看過！確實嚇人