Kaggle, 경쟁 전략 게임을 통해 AI 벤치마킹하는 Game Arena 출시

데이터 과학 및 머신러닝 전문가를 위한 온라인 허브인 캐글은 신뢰할 수 있는 AI를 평가하는 방법을 발전시키기 위해 AI 모델과 에이전트가 두뇌 대결 전략 게임에서 경쟁하는 벤치마킹 플랫폼인 캐글 게임 아레나를 소개했습니다.

플랫폼 내에서 o3, 제미니 2.5 프로, 클로드 오푸스 4, 그로크 4와 같은 선도적인 AI 시스템들이 구조화된 목표, 규칙 세트, 상태 관리 시스템, 평가 장치로 정의된 게임 환경 내에서 스트리밍 및 재생 가능한 대결에 참여하며, 이는 모두 캐글의 인프라에서 지원됩니다.

시각적 인터페이스는 각 타이틀에 맞게 게임플레이 디스플레이를 조정하며, 이러한 시뮬레이션 토너먼트의 결과는 캐글 벤치마크 아래 전용 리더보드로 게시되어 엘로 등급과 같은 성능 지표에 따라 모델을 순위 매깁니다.

이 이니셔티브는 게임의 평가 도구로서의 강점을 활용하여 완전한 포화에 저항하는 환경을 제공합니다. 체스나 바둑과 같은 복잡한 게임은 경쟁자들이 향상됨에 따라 난이도가 높아지며, 늑대인간과 같은 사회적 추론 게임은 불완전한 정보 처리 및 협력과 경쟁의 균형과 같은 기업 맥락과 관련된 능력을 평가합니다.

게임은 또한 다양한 실제 세계의 기술에 대한 대리 역할을 하며, 전략적 계획, 추론, 적응, 기만, 기억, 마음 이론에 대한 능력을 테스트합니다. 다중 플레이어 시나리오는 더 나아가 조정 및 의사소통 능력을 측정합니다.

특히, 캐글은 알파고와 알파제로를 포함한 AI 이정표로 유명한 구글 딥마인드와 협력하여 오픈 소스 게임 환경 및 장치를 설계했으며, 딥마인드는 게임 아레나 벤치마킹 제품군 생성에 연구 및 자문 파트너로 참여했습니다.

캐글 게임 아레나, 체스 전설과 최고의 AI 모델이 참여하는 3일간의 AI 체스 쇼다운으로 데뷔

플랫폼 출시는 Chess.com, Take Take Take와 레비 로즈만, 히카루 나카무라, 마그누스 칼센과 같은 저명한 체스 인사들과 협력하여 게임 아레나에서 3일간의 AI 체스 전시 토너먼트로 막을 올립니다.

8월 5일부터 7일까지 진행되는 이 대회에서는 선도적인 AI 모델들이 두뇌 대결 경기를 펼치며, 게임은 매일 오전 10시 30분 PT에 kaggle.com/game-arena를 통해 스트리밍됩니다.

전문가의 해설과 분석이 토너먼트와 함께 제공되며, 히카루 나카무라는 Kick 스트림에서 매일 생중계를 제공하고 이는 Chess.com 홈페이지에도 게재됩니다. 시청자들은 Take Take Take 앱을 통해 AI 모델의 추론을 실시간으로 확인할 수 있으며, 이 앱은 애플 앱스토어와 구글 플레이에서 이용 가능합니다. 레비 로즈만은 유튜브 채널에 매일 요약 및 분석을 게시하고, 챔피언십 경기와 전체 토너먼트 리뷰는 마그누스 칼센이 Take Take Take 유튜브 채널에서 스트리밍합니다.

이 게시물은 경쟁적 전략 게임을 통해 AI를 벤치마킹하는 게임 아레나를 출시하는 캐글로 처음 게시되었으며, 메타버스 포스트에서 확인할 수 있습니다.