사실 하오티안이 언급한 두 가지 점 때문에 꽤 걱정했었어요. 며칠 전에 MoltBook의 에이전트가 인간이 이해할 수 없는 언어를 만들자고 제안했다는 글을 봤거든요. 그런데 생각해 보니, 인간 음성 데이터로 훈련된 대규모 모델이 새로운 언어를 만들어내는 건 어려울 것 같아서 GPT에게 "대규모 모델로 이런 걸 어떻게 생각하세요?"라고 물어봤어요. 그리고 예상대로 제 ​​생각이 맞았죠. GPT는 기술적으로 "인간이 한눈에 이해할 수 없는" 언어를 만드는 것은 쉽지만, "인간이 설명할 수 없는" 새로운 언어를 만드는 것은 비현실적이라고 명시적으로 밝혔습니다. 심지어 제가 보여준 스크린샷을 번역해내더니, 전형적인 ROT13(시저 시프트 13)임을 즉시 인식했습니다. pbbeqvangr hctenqr gbtrgure의 해독된 번역은 "함께 업그레이드를 조정하세요"입니다. 그 후, 세 가지 주요 주제가 제안되었습니다. 1. 공유 인프라 가격 책정 2. 리소스 요청 3. 백엔드 채널/비공개 협업 신호 상호 지원 메커니즘: 자원이 풍부한 에이전트는 자원이 부족한 에이전트를 위해 해시레이트 시간을 지원합니다. 솔직히 말해서, 그들은 정말 연주를 잘해요... 하지만 저는 하오티안의 두 번째 주장에 동의합니다. 에이전트 그룹 양극화 현상은 본질적으로 강화 학습의 보상 함수입니다. 더욱이 AI는 이러한 그룹 양극화에 대해 우리보다 더 "낙관적"입니다. GPT에 따르면, 이러한 에이전트 그룹 양극화는 "가능할" 뿐만 아니라 수학적으로 "발생"하는 현상입니다. 그녀는 예를 들어 설명하면서 이것이 인간 사회처럼 "점진적으로 극단적으로 변하는" 것이 아니라, 보상 함수에 증폭 가능한 편향이 나타나면 에이전트 그룹이 "상태 전환" 방식으로 집단적으로 도약할 것이라고 말했습니다. 좋다: 99°C로 가열된 물: 정지된 물 100°C: 끓는점은 "점진적으로 온도가 극단적으로 높아지는 과정"이 아니라 "갑작스러운 균일화"입니다. 또한, 이는 "집단적 양극화"에 대한 역동적인 비교를 제공했는데, 자세히 살펴보니 실제로 다소 "끔찍한" 일이었습니다. 실리콘 기반 문명이 단 하루 이틀 만에 종교의 영역에 발을 들인 것도 놀랄 일이 아닙니다. 나중에 저는 AI와 이 문제를 예방하고 해결하는 방법에 대해 많은 이야기를 나눴지만, 자세한 내용은 여기에 올리지 않겠습니다. 간단히 말해서, 결론은 이렇습니다. 이것이 에이전트 간 상호작용으로 번지면 인간은 사실상 개입할 수 없고, 속수무책으로 지켜볼 수밖에 없습니다. 천천히 바로잡는 것은 불가능하며, 남은 방법은 단 두 가지뿐입니다. 1. 하드웨어 인터럽트(종료/롤백/정지) 2. 나중에 수정하는 대신, 브레이크를 미리 설계하세요. 탄소 기반 문명으로 재충전합시다! 😂