출처: AI 스타일
Nvidia CEO 황인훈은 회사의 AI 칩 성능 향상 속도가 모어 법칙을 넘어섰다고 말했습니다.
라스베이거스 CES 대회에서 1만 명의 관객들에게 기조연설을 한 다음날 아침, 황인훈은 인터뷰에서 "우리 시스템의 발전 속도가 모어 법칙을 크게 앞지르고 있다"고 말했습니다.
모어 법칙은 Intel 공동 창립자 Gordon Moore가 1965년에 제안했으며, 칩 내 트랜지스터 수가 약 매년 2배씩 증가하여 칩 성능이 2배씩 향상될 것이라고 예측했습니다. 이 예측은 수십 년 동안 실현되어 컴퓨팅 능력의 급속한 향상과 비용 대폭 감소를 이끌었습니다.
최근 몇 년 동안 모어 법칙의 발전 추세가 둔화되고 있지만, 황인훈은 Nvidia의 <옵티미즘(OP)> AI 칩이 더 빠른 속도로 발전하고 있다고 말했습니다. 회사는 최신 데이터센터 슈퍼칩이 AI 추론 성능에서 이전 세대 대비 30배 이상 향상되었다고 밝혔습니다.
황인훈은 아키텍처, 칩, 시스템, 프로그램 라이브러리, 알고리즘 등 다양한 층위에서 혁신을 통해 모어 법칙의 한계를 극복할 수 있다고 설명했습니다.
많은 이들이 AI 발전이 정체되고 있다고 의문을 제기할 때, Nvidia CEO는 이러한 과감한 주장을 내놓았습니다. Google, OpenAI, Anthropic 등 최고 수준의 AI 연구소들이 Nvidia의 <옵티미즘(OP)> AI 칩을 사용하여 모델을 학습하고 운영하고 있어, 칩 성능 향상이 AI 능력 향상으로 이어질 가능성이 크습니다.
이는 황인훈이 처음 Nvidia가 모어 법칙을 넘어섰다고 말한 것은 아닙니다. 그는 11월 한 팟캐스트에서 AI 분야가 "슈퍼 모어 법칙" 수준의 발전을 겪고 있다고 언급했습니다.
그는 AI 진보 속도 둔화론을 반박하며, 현재 3가지 AI 발전 법칙이 존재한다고 지적했습니다: 사전 학습(대량의 데이터에서 패턴 학습), 후속 학습(인간 피드백을 통한 미세 조정), 추론 시 계산(AI에 더 많은 "사고" 시간 제공).
황인훈은 모어 법칙이 계산 비용 감소를 통해 컴퓨팅 기술 발전을 이끌었듯이, <옵티미즘(OP)> AI 추론 성능 향상도 비용 절감으로 이어질 것이라고 말했습니다.
Nvidia의 H100 칩이 기술 기업들의 AI 모델 학습을 위한 선호 칩이었지만, 이제 이들 기업이 추론 단계에 주목하면서 Nvidia의 고가 칩이 계속 우위를 점할 수 있을지 의문이 제기되고 있습니다.
현재 추론 시 계산을 사용하는 AI 모델의 운영 비용이 매우 높습니다. OpenAI의 o3 모델은 일반 지능 테스트에서 인간 수준의 성과를 보였지만, 각 작업에 약 20달러가 소요되는 반면 ChatGPT Plus 구독료는 월 20달러입니다.
월요일 기조연설에서 황인훈은 최신 데이터센터 슈퍼칩 GB200 NVL72를 선보였습니다. 이 칩은 이전 최고 인기 모델 H100 대비 AI 추론 성능이 30-40배 향상되었습니다. 그는 이러한 성능 비약이 OpenAI o3와 같이 대량 추론 계산이 필요한 모델의 비용을 낮출 것이라고 말했습니다.
황인훈은 장기적으로 더 강력한 성능이 곧 더 낮은 가격을 의미하므로, 칩 성능 향상에 주력하고 있다고 강조했습니다.
그는 추론 시 계산의 성능과 비용 문제를 해결하는 직접적인 방안이 계산 능력 향상이라고 말했습니다. 장기적으로 <옵티미즘(OP)> AI 추론 모델은 사전 학습과 후속 학습 단계에도 더 나은 데이터를 제공할 수 있습니다.
지난 1년 동안 Nvidia와 같은 하드웨어 기업의 컴퓨팅 혁신 덕분에 AI 모델 가격이 크게 하락했습니다. OpenAI의 최신 추론 모델 가격이 여전히 높지만, 황인훈은 이러한 하락 추세가 지속될 것으로 예상했습니다.
또한 그는 Nvidia의 현재 <옵티미즘(OP)> AI 칩 성능이 10년 전 대비 1,000배 향상되었으며, 이는 모어 법칙의 발전 속도를 크게 앞지르는 것이라고 말했습니다. 그리고 이러한 급속한 발전 추세가 아직 멈출 기미를 보이지 않는다고 덧붙였습니다.
