최근 AI 업계 전체가 GPT-5에 주목하고 있으며, 관련된 정보가 곳곳에서 쏟아져 나오고 있지만, 아직 해당 모델은 등장하지 않았습니다.
The Information에서 폭로한 GPT-5에 대한 긴 기사를 보도했는데, 울트라맨은 가만히 앉아 있지 못하고 "놀라운 일들이 많으니 기다릴 만한 가치가 있다"고 트윗했습니다.
그럼, 기다리는 동안 이번에는 GPT-5의 "의심되는 트럼프 카드" 중 하나인 범용 검증기를 살펴보겠습니다.
이 문제에 정통한 관계자에 따르면, OpenAI는 연구자들이 "범용 검증기"라고 부르는 것을 개발해 왔으며, 이는 GPT-5에 사용되는 중요한 기술일 수 있습니다.
이 개념은 OpenAI가 작년에 발표한 논문에서 유래했습니다. 이 논문은 LLM이 정답의 정확성만을 고려하여 최적화할 경우, 추론 과정(예: 사고의 사슬)을 사람이나 소규모 모델이 이해하고 검증하기 어려워 해석 가능성이 저하되는 문제를 다룹니다. 그러나 리스크 애플리케이션에서는 사용자가 정답 자체뿐만 아니라 모델 출력의 정확성도 빠르고 정확하게 판단할 수 있어야 합니다.
이러한 목적을 위해 본 논문에서는 생산에 바로 투입 가능한 기술 파이프라인을 제안하는데, 이 파이프라인의 핵심은 작은 "검증자" 모델이 큰 "증명자" 모델의 추론 체인에 점수를 매기고 이를 전략 업데이트에 대한 보상 신호로 큰 모델에 피드백하는 것입니다 .
논문 제목: Prover-Verifier 게임은 LLM 출력의 가독성을 향상시킵니다.
논문 주소: https://arxiv.org/pdf/2407.13692
이 논문에서는 이 검증기 모델이 대규모로 배포할 수 있을 만큼 작으며 "향후 GPT 배포를 위해 설계되었다"고 명시적으로 언급합니다.
이것은 두 개의 "인격"이 살고 있는 모델이라고 상상할 수 있으며, 그들은 끊임없이 "좌뇌와 우뇌의 싸움" 게임에 참여하고 있습니다.
- 증명자(Prover) 성격 : 능동적인 문제 해결자 역할을 합니다. 문제를 해결한 후, 가벼운 "검증자" 네트워크에게 답이 정확하고 신뢰할 수 있음을 확신시키기 위해 상세한 추론 과정을 생성하기 위해 최선을 다합니다.
- 교활한 페르소나 : 추론 과정에서 의도적으로 잘못된 결론을 심어 놓지만, 표면적으로는 논리적으로 엄격한 척하며 같은 "검증자"를 속이려는 목적이 있습니다.
GAN(생성적 적대 신경망)과 매우 흡사하지 않나요?
대규모 모델이 이 두 역할을 끊임없이 번갈아 수행하도록 허용함으로써, 모델은 논리적으로 더욱 엄격하고 위조하기 어려운 솔루션을 작성하는 법을 학습합니다. 한편, 소규모 "검증자" 모델은 반복적인 "기만"과 "검증"을 통해 오류를 식별하고 태그 을 표시하는 능력이 점점 더 정교해집니다. 이러한 접근 방식의 이점은 향후 모델이 인간의 능력을 크게 능가하더라도, "약하지만 신뢰할 수 있는" 모델이 그 결과를 검증할 수 있는 한 인간의 통제와 신뢰를 유지할 수 있다는 것입니다.
이 논문에서 제안하는 훈련 방법을 통해 모델은 점진적으로 학습하여 명확하고 잘 구성된 답변을 생성할 수 있습니다.
작년 8월 Wired 매거진에 실린 기사에 따르면 OpenAI가 GPT-4 코드 도우미를 미세 조정할 때 일부 시나리오에서는 인간 피드백을 모델 기반 "비평"으로 대체했다고 합니다.
이 기사에서는 해당 시스템이 "향후 주류 모델의 RLHF(인간 피드백 기반 강화 학습) 프로세스에 통합될 것"이라고 구체적으로 지적하고 있습니다.
일부에서는 증명-검증 학습 방식이 단순한 최적화를 넘어 AI 개발의 차세대를 대표할 수 있다고 주장합니다. 우리는 방대한 데이터와 "자원 축적"을 통해 성능을 향상시키는 "확장 시대"에서, AI가 더욱 스마트한 내부 학습 메커니즘을 설계하여 스스로 개선하고 진화하는 "아키텍처 혁신"의 시대로 나아가고 있습니다. 이는 현재의 데이터 병목 현상을 극복하고 더 높은 수준의 일반 인공지능을 달성하는 핵심 경로가 될 수 있습니다.
이 논문은 OpenAI의 Super Alignment 팀에서 작성되었다는 점에 주목할 필요가 있습니다. 논문이 발표될 무렵, 팀은 이미 붕괴된 상태였습니다. 작년에 Synced에서 이 논문에 대해 자세히 보도했으니, 관심 있는 독자들은 다시 한번 살펴보시기 바랍니다.
해당 논문 외에도 GPT-5 모델에 대한 새로운 소식도 있습니다.
오늘 이른 아침, 한 블로거가 Perplexity에 GPT-5에 접근할 수 있는 취약점이 있으며, GPT-5와 5 Pro, 두 가지 버전이 있으며 시간 제한은 4시간이라는 것을 발견했습니다.
그는 GPT-5를 사용하여 생성한 미니언을 선보였고, 역동적인 효과가 매우 부드러워 보였습니다.
그는 또한 Doom(FPS 게임)과 비슷한 게임 클립을 만들었는데, 이 역시 매우 사실적으로 보였습니다.
네티즌들은 "충격"을 표하며 이것이 AI가 만들어내는 "새로운 시대"가 아닐까 믿고 있다.
어쨌든, GPT-5에 대한 여러분의 기대는 이미 높습니다!
GPT-5는 어떤 모습일 것 같나요?
참조 링크:
https://x.com/rohanpaul_ai/status/1951400750187209181
https://x.com/chetaslua/status/1951758235272401030
본 기사는 WeChat 공개 계정 "Machine Heart"(ID: almosthuman2014) 에서 발췌하였으며, 저자는 Machine Heart이고, 36Kr.의 출판 허가를 받았습니다.
