기업들은 인공지능(AI) 도입에 있어 새로운 전환점을 맞이하고 있습니다. 오늘날 시장의 관심은 AI 투자 여부가 아니라, 다양한 업무 에 적합한 반도체와 인프라를 구축하여 비용 효율성을 극대화하는 방법에 집중되어 있습니다. 특히 '에이전트 AI' 작업의 급증과 추론 비용 상승 으로 인해 대기업의 핵심 과제는 단순히 최고 성능의 장비를 선택하는 것이 아니라, 목표에 따라 적절한 컴퓨팅 자원을 선택하는 것, 즉 '선택'을 내리는 것입니다.
이러한 배경 속에서 AMD와 레드햇의 파트너십이 다시 한번 면밀한 검토 대상이 되었습니다. AMD의 글로벌 엔터프라이즈 기술 영업 담당 부사장인 존 햄튼은 보스턴에서 열린 레드햇 서밋 2026에서 기업들이 하이브리드 환경에서 더욱 유연한 AI 인프라를 찾고 있다고 지적했습니다. 그는 많은 고객들이 최근 AI 수요를 충족하기 위해 대규모 GPU 클러스터를 서둘러 구축했지만, 실제 운영 과정에서 예상보다 훨씬 더 큰 비용 압박에 직면하고 있다고 언급했습니다.
AI 추론 비용이 급격히 상승... 기업들은 대형 GPU만을 사용하는 기존 전략을 재평가하고 있습니다.
햄튼에 따르면, 많은 기업들이 AI 경쟁 초기 단계에서 뒤처지지 않기 위해 고성능 GPU를 대량 구매하는 데 집중했습니다. 하지만 문제는 서비스 규모가 커짐에 따라 AI 쿼리 하나당 비용이 누적되어 예산 압박이 급격히 증가했다는 점입니다. 이러한 현상은 업계에서 "토큰 경제"라고 불리는데, 생성형 AI 사용이 증가할수록 토큰 처리 비용도 상승 기업의 수익성에 직접적인 영향을 미친다는 의미입니다.
그는 "기업들은 처음에는 AI를 위해 대량 GPU 클러스터를 구매했지만, 이제는 감당할 수 없는 문제에 직면하고 있다. AI 애플리케이션이 성장하는 반면, 비용의 급격한 증가는 심각한 우려를 낳고 있다"고 말했다. 이는 궁극적으로 기업의 AI 전략의 핵심이 "최고 성능 장비 확보"에서 "특정 작업에 최적화된 배포"로 이동하고 있음을 의미한다.
AMD와 레드햇: CPU부터 GPU까지 "풀 스펙트럼" 솔루션 제공
이러한 추세에 대응하기 위해 AMD는 CPU, 비용 효율적인 GPU, 고성능 가속기 아우르는 "풀 스펙트럼" 제품 포트폴리오를 출시했습니다. AMD의 전략은 이러한 하드웨어를 레드햇의 오픈 소스 소프트웨어 기반 스택과 결합하여 기업들이 특정 벤더에 의존하지 않고 하이브리드 클라우드 환경에서 AI 작업을 유연하게 운영할 수 있도록 지원하는 것입니다.
AMD Instinct MI350P를 예로 들면, 이 제품은 기존 서버에 비교적 쉽게 통합할 수 있는 PCIe 기반 GPU로 설명됩니다. 비용 효율성을 위해 공랭식 설계를 채택했습니다. 엔터프라이즈급 플랫폼인 Red Hat AI는 이러한 유형의 하드웨어에서 AI 에이전트의 배포 및 확장을 지원합니다. 또한 AMD EPYC CPU와 Red Hat 가상화 도구를 활용하면 서버 통합이 가능해져 데이터 센터 공간과 전력 소비를 줄일 수 있습니다.
핵심은 "개방형 아키텍처"에 있으며, 동시에 AI 예산 관리 및 인프라 현대화를 추진하는 것입니다.
핵심 메시지는 "개방성"과 "선택성"이었습니다. AMD는 레드햇과 함께 폐쇄적인 생태계와 달리 기업들은 개방형 아키텍처를 활용하여 다양한 AI 워크로드에 가장 적합한 CPU, 저전력 GPU, 고성능 가속기 등의 리소스를 선택해야 한다고 강조했습니다. 모든 추론 작업에 고가의 장비가 필요한 것은 아니라는 것입니다.
이러한 접근 방식의 이점은 비용 절감 그 이상입니다. 기업 입장에서는 기존 인프라를 최대한 활용하면서도 AI 도입 속도를 늦추지 않고, 절감된 예산과 전력 자원을 새로운 AI 프로젝트에 재투자할 수 있습니다. 이는 AI 인프라 현대화와 예산 관리를 동시에 가능하게 한다는 점에서 매우 실질적인 의미를 지닙니다.
햄튼은 미래 AI 시장의 평가 기준이 더 이상 "무엇을 구매했는가"가 아니라 "어떻게 배포했는가"가 될 것이라고 예측합니다. 기업들의 AI 개발 경쟁이 본격적인 운영 단계에 접어들면서, 일부 분석가들은 미래 성공의 열쇠가 성능 시연이 아니라 총 소유 비용과 실제 성과 사이의 균형을 능숙하게 맞추는 능력에 있을 것이라고 믿습니다.
TP AI 참고: 이 글은 TokenPost.ai의 언어 모델을 기반으로 요약된 내용입니다. 본문의 핵심 정보가 생략되었거나 사실과 다를 수 있습니다.
