엔비디아가 열핵 벤치마크 폭탄을 투하했으며—월가의 알고리즘 트레이더들은 이미 잘못 가격을 책정하고 있다.
GB200 NVL72는 업그레이드가 아니다. 이는 레거시 AI 하드웨어의 멸종 수준 사건으로, 오픈AI의 GPT-OSS 모델과 결합하여 머신 러닝 처리량의 규칙을 다시 쓰고 있다.
72노드 액체 냉각 비스트 모드
점진적인 개선은 잊어라. 이 실리콘 블랙 슬랩은 훈련 효율성에서 기하급수적인 도약을 제공하면서 헤지 펀드의 주말 코카인 예산보다 적은 전력을 소비한다.
오픈소스 군비 경쟁 격화
GPT-OSS 모델은 이제 실제 위험 관리와 함께 마진 콜에 있는 블룸버그 터미널처럼 비정형 데이터를 씹어 먹는다. 이 조합은 차세대 분산형 AI 네트워크를 위한 완벽한 인프라를 만들어낸다.
기관들은 마침내 깨어날까? 아니면 CUDA 코어를 '유행에 불과한 것'으로 계속 무시하면서 개인 투자자들이 미래를 구축하도록 내버려 둘까?
엔비디아는 오픈AI와 협력하여 엔비디아 GB200 NVL72 시스템의 성능을 활용한 AI 성능의 중요한 발전을 발표했다. 오픈AI gpt-oss-20b 및 gpt-oss-120b 모델의 최근 출시는 초당 최대 150만 토큰(TPS)을 제공할 것으로 약속하며, 엔비디아에 따르면 AI 처리 능력에서 상당한 도약을 의미한다.
향상된 AI 기능
텍스트 추론 기능으로 알려진 gpt-oss 모델은 SwigGLU 활성화를 사용하는 전문가 혼합(MoE) 아키텍처를 기반으로 구축되었다. 이 모델들은 주의 계층에 RoPE를 사용하고 128k 컨텍스트 길이를 지원하며, 엔비디아의 블랙웰 아키텍처에 최적화되어 있다. FP4 정밀도로 출시되었으며, 80GB 데이터 센터 GPU와 호환되고 엔비디아의 첨단 하드웨어에 최적화되어 있다.
협력 개발
엔비디아의 오픈AI와의 협력은 모델 성능과 개발자 접근성을 향상시키기 위해 허깅 페이스 트랜스포머와 엔비디아 TensorRT-LLM을 포함한 다양한 오픈소스 프레임워크로 확장된다. 특히 gpt-oss-120b 모델은 200만 시간 이상의 GPU 시간이 소요되는 광범위한 훈련을 필요로 했다.
기술 사양
gpt-oss-20b 및 gpt-oss-120b 모델은 다양한 AI 요구를 충족시키기 위해 다양한 사양을 갖추고 있다. 여기에는 다양한 트랜스포머 블록 수, 총 매개변수, 전문가 구성이 포함되어 엔비디아 플랫폼에서 추론 성능을 최적화하도록 설계되었다.
배포 옵션
엔비디아는 개발자들을 위해 서버 설정 및 성능 최적화를 위한 vLLM 및 TensorRT-LLM 사용을 포함한 다양한 배포 옵션을 제공한다. GB200 NVL72 시스템은 최대 5만 명의 동시 사용자를 효율적으로 처리할 수 있도록 설계되었다.
미래 전망
이러한 첨단 모델의 도입으로 엔비디아는 클라우드에서 엣지까지 광범위한 AI 애플리케이션을 지원하는 것을 목표로 한다. 다양한 플랫폼에 걸쳐 gpt-oss 모델을 통합하려는 노력은 AI 인프라와 개발자 경험 향상에 대한 약속을 보여준다.
이러한 모델의 배포 및 기능에 대한 자세한 내용은 엔비디아 블로그를 방문하시기 바랍니다.
이미지 출처: Shutterstock- 엔비디아
- 오픈AI
- AI 모델
- GB200 NVL72
