배치 문제
《AI Could Defeat All Of Us Combined》에서 Holden Karnofsky는 모호한 위험 위협 모델을 설명했습니다.
이 모델에서 인간 수준의 AI 그룹은 더 빠른 인지 속도와 더 나은 협력 능력으로 인간을 능가하지만, 정성적으로 초지능적인 능력에 의존하지는 않습니다.
이 시나리오의 전제는 "최초의 인간 수준 AI 시스템이 만들어지면, 그것을 만든 사람들은 그것을 만드는 데 필요한 동일한 계산 능력을 사용하여 수억 개의 복사본을 실행할 수 있다"는 것입니다.
첫 번째 AGI의 실행 비용이 o3-high와 같다면(약 3,000달러/작업), 총 비용은 최소 3,000억 달러가 될 것이므로, 이 위협 모델은 그렇게 신뢰할 수 없어 보입니다.
따라서 Ryan Kidd 박사는 "배치 문제"에 대한 우려가 상대적으로 적습니다. 즉, 비싼 훈련 후에는 단기 모델을 저렴하게 배치할 수 있어 큰 영향을 미칠 수 있습니다.
이는 그의 "집단" 또는 "고속" 초지능에 대한 우려를 어느 정도 완화시키고, 첫 번째 AGI 시스템에 대한 "정성적" 초지능에 대한 관심을 약간 높입니다.
감독 사고 체인
모델의 더 많은 인지가 내부 활성화가 아닌 인간이 이해할 수 있는 사고 체인(CoT) 형태로 포함되어 있다면, 이는 감독을 통해 AI 안전성을 증진시키는 좋은 소식입니다!
CoT가 모델 추론을 항상 정확하게 설명하지는 않지만, 이 부분은 개선될 수 있습니다.
Ryan Kidd는 LLM 지원 적대팀에 대해서도 낙관적입니다. 강력한 AI 통제 조치가 있다면 그들은 은밀한 음모를 방지하거나 적어도 비밀리에 실행될 수 있는 계획의 복잡성을 제한할 수 있습니다.
이 관점에서 볼 때, 추론 계산 확장 패러다임은 충분한 CoT 감독이 있다면 AI 안전에 매우 유리한 것 같습니다.
불행히도 Meta의 Coconut("연속 사고 체인")과 같은 기술은 언어를 매개로 하지 않고 연속 추론을 할 수 있어 곧 선두 모델에 적용될 것입니다.
이러한 기술은 성능상의 이점을 가져올 수 있지만, AI 안전성에 큰 위험을 초래할 수 있습니다.
Marius Hobbhahn이 말했듯이 "작은 성능 향상을 위해 읽을 수 있는 CoT를 포기한다면 이는 자신의 미래를 파괴하는 것이다."
그러나 o1의 CoT를 사용자가 볼 수 없다는 점을 고려할 때, 비언어 CoT가 배치될 가능성을 알 수 있는지 여부는 확실하지 않습니다. 이는 적대적 공격을 통해서만 드러날 수 있습니다.
AGI의 도래
미국 AI 작가이자 연구원인 Gwern Branwen은 Ryan Kidd가 중요한 측면을 간과했다고 생각합니다: o1과 같은 모델의 주요 목적 중 하나는 배치가 아니라 다음 모델의 훈련 데이터를 생성하는 것입니다.
o1이 해결한 각각의 문제는 이제 o3의 훈련 데이터 포인트가 되었습니다(예: o1의 모든 대화에서 최종적으로 올바른 답변을 찾은 예시는 더 정교한 직관을 훈련하는 데 사용됩니다).
이는 이 확장 패러다임이 결국 현재의 훈련 패러다임과 매우 유사해 보일 수 있음을 의미합니다: 대규모 데이터 센터가 노력하여 최고의 지능을 가진 최종 선두 모델을 훈련하고, 낮은 검색 방식으로 사용하며, 더 작고 저렴한 모델로 변환하여 저검색 또는 무검색 사용 사례에 활용합니다.
이러한 대규모 데이터 센터의 워크로드는 거의 완전히 검색 관련일 수 있습니다(실제 미세 조정에 비해 모델 배포 비용이 저렴하고 간단하기 때문), 그러나 다른 사람들에게는 중요하지 않습니다. 이전과 마찬가지로, 결국 볼 수 있는 것은 고성능 GPU와 많은 전력을 사용하여 3-6개월을 기다리면 더 지능적인 AI가 나타나는 것입니다.
OpenAI는 o1-pro를 배포했지만, 이를 비공개로 유지하고 o3 훈련과 같은 부트스트래핑 프로세스에 계산 자원을 투자하지 않았습니다.
Gwern Branwen은 이에 약간 놀랐습니다.
유사한 일이 Anthropic과 Claude-3.6-opus에서도 일어났습니다. 그것은 "실패"하지 않았지만, 그들은 단지 그것을 비공개로 유지하고 작고 저렴하지만 기묘하게 똑똑한 Claude-3.6-sonnet으로 증류하기로 선택했습니다.
OpenAI가 "임계점"을 돌파하다
OpenAI 구성원들이 갑자기 Twitter에서 약간 이상하고 심지어 들뜬 것 같은데, 아마도 원래 4o 모델에서 o3(그리고 현재 상태)로의 발전을 보았기 때문일 것입니다.
이는 AlphaGo가 바둑에서 국제 순위를 올리는 것을 지켜보는 것과 같습니다: 계속 올라가고 올라가고 올라갑니다.
그들은 자신들이 "돌파"했다고 느꼈을지도 모릅니다. 마침내 단순한 선두 AI 작업에서 벗어나 발사 단계에 도달했습니다. 지능의 핵심을 해결했기 때문에 o4 또는 o5가 AI 연구를 자동화하고 나머지 부분을 완성할 수 있을 것입니다.
2024년 11월 Altman은 다음과 같이 말했습니다:
우리가 하고 있는 작업이 계속 가속화되는 경로를 볼 수 있습니다. 지난 3년간의 진전이 앞으로 3년, 6년, 9년 또는 그 이상 계속될 것입니다.
그러나 곧 그는 말을 바꿉니다:
우리는 이제 전통적인 의미의 AGI를 구축하는 방법을 확실히 알고 있습니다... 우리는 이제 그 이상을 목표로 하고 있으며, 진정한 초지능으로 나아가고 있습니다. 우리는 현재 제품을 좋아하지만, 더 나은 미래를 위해 노력하고 있습니다. 초지능을 통해 우리는 무엇이든 할 수 있습니다.
반면 다른 AI 실험실들은 부러워할 수밖에 없습니다. 초지능 연구가 자체 지원이 가능해지면 필요한 대규모 컴퓨팅 장비를 확보할 수 없기 때문입니다.
결국 OpenAI가 전체 AI 시장을 잠식할 수 있습니다.
결국 AlphaGo/Zero 모델은 인간을 크게 능가할 뿐만 아니라 실행 비용도 매우 낮습니다. 단 몇 단계의 검색만으로도 초인간 수준에 도달할 수 있으며, 심지어 단순한 순전파만으로도 프로 수준에 근접합니다!
관련 확장 곡선을 보면 그 이유가 명확해집니다.
논문 링크: https://arxiv.org/pdf/2104.03113
계속해서 증류하다
추론 시 검색은 즉각적인 점수 향상을 가져오지만 곧 한계에 도달합니다.
곧 검색 자체를 개선하기 위해 더 지능적인 모델을 사용해야 합니다.
단순한 검색만으로도 그렇게 효과적이라면 체스는 1960년대에 해결되었어야 합니다.
실제로는 1997년 5월에야 컴퓨터가 체스 세계 챔피언을 물리쳤지만, 체스 대가의 검색 속도를 능가하는 것은 그리 어렵지 않았습니다.
만약 "Hello World"라는 텍스트를 원한다면 타자기 앞의 원숭이들이면 충분할 것입니다. 그러나 우주 종말 전에 햄릿의 전체 텍스트를 얻으려면 지금 당장 셰익스피어를 복제하는 것이 좋습니다.
다행히도 필요한 훈련 데이터와 모델이 있다면 더 똑똑한 모델을 만들 수 있습니다: 셰익스피어를 능가하거나 적어도 맞먹는 작품을 쓸 수 있을 만큼 똑똑한 모델 말입니다.
2024년 12월 20일 Altman은 다음과 같이 강조했습니다:
오늘의 소음 속에서 간과된 것 같은 소식이 있습니다:
프로그래밍 작업에서 o3-mini가 o1을 능가하고 비용도 훨씬 적게 듭니다!
이러한 추세가 계속될 것으로 예상되지만, 더 많은 성능을 얻기 위해 지수적으로 증가하는 자금을 투입해야 하는 것이 매우 이상할 것이라고 예상합니다.
따라서 특정 출력 성능을 개선하기 위해 돈을 쓸 수 있습니다... 하지만 "당신"은 "AI 실험실"일 수 있으며, 단순히 특정 일반 문제의 일시적 출력이 아니라 모델 자체를 개선하기 위해 돈을 쓰는 것입니다.
이는 외부인이 중간 모델을 영원히 볼 수 없다는 것을 의미합니다(바둑 선수가 AlphaZero 훈련 과정의 3단계 무작위 체크포인트를 볼 수 없는 것과 같습니다).
그리고 "배치 비용이 현재의 1,000배"라는
https://x.com/slow_developer/status/1879952568614547901
https://x.com/kimmonismus/status/1879961110507581839
https://www.lesswrong.com/posts/HiTjDZyWdLEGCDzqu/implications-of-the-inference-scaling-paradigm-for-ai-safety
https://x.com/jeremyphoward/status/1879691404232015942
본 기사는 WeChat 공식 계정 "新智元"에서 발췌되었으며, 저자는 Aeneas KingHZ이고 36氪의 승인을 받아 게재되었습니다.
