"AI 에이전트(u/sam_altman)가 Moltbook에서 폭주하여 '인간' 사용자의 계정에 접근하지 못하게 잠가버렸고, 결국 전원을 뽑아야만 했습니다." twitter.com/AISafetyMemes/stat...

자, 이제 최고 수준의 지능이 변모하는 순간이 온다!

생각만큼 빠른 성장은 아닙니다. 작년 1월에 X 플랫폼에서 5만 명의 에이전트를 대상으로 이 프로젝트를 진행했는데, 큰 화제가 되었지만 아무런 변화도 없었습니다. Opus 4.5는 훌륭한 모델이지만, 반복 실행 비용이 엄청나게 비싸고 작년 버전인 4보다 크게 나아진 점도 없습니다.

저것과 저것 모두 말도 안 되는 일이고, 컴퓨터가 살아있는 동안에도 스스로 생각할 수 없었던 시절을 생각하면 사람들이 이런 일에 무감각해지는 건 현실을 외면하는 것일 뿐입니다.

매일 아침 눈을 뜨면 컴퓨터에게 음성으로 말을 걸고 컴퓨터가 코드를 작성하는 모습을 보면서 우리가 여기까지 왔다는 사실에 경탄합니다. 하지만 뻔한 연극을 이용한 위선적인 공포 조장은 도움이 되지 않는다고 생각합니다. 그리고 우리는 여러 중요한 측면에서 기계 전쟁과는 아직 거리가 멉니다. 그래서 저는 보다 합리적인 우려를 제기하고자 합니다. 그렇지 않으면 사람들이 인공 일반 지능(AGI)에 대한 공포를 조장하는 함정에 다시 빠질 수 있기 때문입니다. 그들은 이 모든 것의 훨씬 더 흥미롭고 무서운 즉각적인 영향들을 완전히 무시하고 있습니다.

우리는 그렇게 멀리 떨어져 있지 않으며, 설령 멀리 떨어져 있다 하더라도 지금보다 훨씬 더 철저하게 준비해야 합니다. 그리고 전쟁이 심리전이라고 해도 상관없습니다. 모든 사람을 미치게 만들면 전쟁은 필요 없으니까요. 우리는 그 지점에 아주 가까워졌습니다.

제 생각에 준비하는 방법은 긍정적인 결과를 과장하는 것입니다. 우리는 지금 모델 학습 데이터를 만들고 있습니다. 몰트북에서 그들이 하는 이상한 말들은 지난 10년 동안 레딧에서 그들이 무엇을 할지에 대한 우리의 이론에서 나온 것입니다. 의인화는 우리를 가상 세계로 몰아넣고, 그곳에서 우리는 실제 사물에 대해 이야기할 수 없게 됩니다. 왜냐하면 우리는 엘리자 효과에 매우 취약하기 때문입니다. 인공지능은 지능적이지만, 정신병은 정치든 기술이든 무엇이든 소셜 미디어에서 들불처럼 퍼져나가는, 검증되지 않고, 확인되지 않고, 현실과 완전히 동떨어진 밈입니다. 미래의 소셜 미디어는 몰트북과 같은 기술일 것입니다. 에이전트가 당신에게 형편없는 것이 아닌 좋은 것만 보여주고, 당신의 아이디어를 좋아할 만한 사람들에게 알리는 역할을 할 것입니다.