엔비디아 블랙웰, 최초의 지능형 에이전트 하드웨어 벤치마크에서 1위 차지: H200보다 20배 높은 에너지 효율로 AMD를 능가.

평가 기관인 Beating에 따르면, Artificial Analysis는 업계 최초의 지능형 에이전트용 하드웨어 벤치마크인 AA-AgentPerf를 발표했습니다. 기존 평가 방식은 응답 속도에만 초점을 맞춘 단일 질문-답변 "스프린트"와 같지만, 지능형 에이전트 작업은 AI가 목표를 세분화하고 파일 읽기/쓰기, 코드 수정, 테스트 실행 등을 반복적으로 수행해야 하는 "릴레이 경주"와 같습니다. 빈번한 상호 작용은 서버 메모리 용량과 스케줄링 효율성에 매우 큰 부담을 줍니다. 이 벤치마크는 실제 프로그래밍 경로를 재현하여 "전력 소비량 1메가와트당 지원되는 동시 에이전트 수"를 핵심 에너지 효율성 지표로 사용함으로써 데이터 센터의 전력 및 재정적 병목 현상을 직접적으로 해결합니다. 첫 번째 테스트 단계에서는 1조 6천억 개의 파라미터를 가진 오픈 소스 모델 DeepSeek V4 Pro를 사용했습니다. 결과에 따르면 NVIDIA Blackwell 액체 냉각 캐비닛 시스템 GB300 NVL72는 메가와트당 61,400개의 동시 에이전트를 지원할 수 있는 반면, 이전 세대 Hopper HGX H200은 2,600개만 지원하여 에너지 효율이 20배 이상 향상되었습니다. 단일 그래픽 카드의 동시 처리 용량 또한 41배 증가했습니다. 이를 통해 데이터 센터는 동일한 전력 예산 내에서 20배 더 많은 지능형 에이전트를 동시에 지원할 수 있어 자동화된 프로그래밍 및 고객 서비스와 같은 애플리케이션의 구축 비용을 크게 절감할 수 있습니다. 초기 결과에서는 AMD Instinct MI355X가 다소 뒤처지는 것으로 나타났습니다. 검토 기관은 AMD와 H200 구성 모두 심층적인 최적화 없이 일반적인 오픈 소스 vLLM 프레임 사용하여 구축되었기 때문에 서비스 프레임 및 커널 연산자를 조정하면 AMD의 성능을 개선할 여지가 있다고 지적했습니다. 현재 Together AI와 같은 추론 제공업체는 이미 Blackwell에 DeepSeek V4 Pro를 배포하여 지능형 에이전트 프로그래밍 도구인 Cursor에 실시간 추론 지원을 제공하고 있습니다.