메모리 관련 주식이 매일같이 오르는 것 같습니다. 최대 메모리 업체 중 하나인 마이크론은 지난 1년 동안에만 거의 3배 가까이 올랐습니다. 많은 투자자들은 비슷한 종목들이 매일같이 오르는 것을 보면서 조정을 기다리고 있습니다. 하지만 그들은 제품의 본질을 제대로 이해하지 못하고 있습니다.
이번 글에서는 니콜라스와 제가 함께 이번 기회를 쉽고 명확하게 설명해 드리겠습니다. 바로 시작해 볼까요?
소개
그렇다면 기억이란 무엇이며, 왜 그토록 중요한 것일까요?
메모리는 컴퓨터나 장치가 임시 연산을 수행하는 동안 정보를 저장할 수 있도록 해주는 부분입니다. 이는 주로 읽기 및 쓰기 작업을 통해 이루어집니다. 메모리의 각 계층은 읽기/쓰기 속도, 비용 및 용량 측면에서 서로 다른 특성을 가지고 있습니다.
인공지능 분야에서 메모리는 모델이 엄청난 양의 데이터를 한 번에 처리해야 하기 때문에 더욱 중요해졌습니다. 챗봇, 이미지 생성기, 추천 알고리즘과 같은 도구를 사용할 때 메모리는 높은 대역폭으로 방대한 데이터 세트를 끊임없이 입출력합니다.
인공지능 모델이 더욱 지능적이고 강력해질수록 효과적으로 작동하는 데 필요한 메모리도 늘어납니다. 강력한 메모리 시스템 없이는 대규모 언어 모델과 머신러닝 활용 사례의 발전이 정체될 수밖에 없습니다.
기억을 더 잘 이해하려면 먼저 기억의 여러 층위를 분석해야 합니다.
컴퓨터는 메모리를 작업 메모리(시스템이 활발하게 연산을 수행하는 동안 사용됨)와 저장 메모리(읽기/쓰기 속도는 느리지만 데이터를 장기간 저장하는 데 사용됨)로 나눕니다. 이러한 구분은 높은 대역폭(낮은 읽기/쓰기 속도)을 가진 메모리가 비싼 반면, 저렴한 장기 저장 메모리는 낮은 대역폭(높은 읽기/쓰기 속도)을 가지기 때문에 발생합니다.
메모리와 관련된 많은 개념은 칩과 처리 장치 사이의 거리에 따라 결정됩니다. 거리가 멀수록 처리 속도는 느려집니다.
이 메모리 는 XPU(XPU = CPU 또는 GPU) 내부 또는 바로 옆에 위치하기 때문에 시스템 전체에서 처리량이 가장 높은 메모리인 경우가 많습니다. 프로세서가 현재 필요로 하는 아주 작은 데이터 비츠(Bits) 저장합니다.
구성 요소: SRAM(논리 실리콘에 직접 구축된 정적 메모리).
비용 및 크기: 비트(Bit) 당 가격이 매우 비싸고 용량은 매우 작습니다.
제조 위치: CPU와 동일한 칩에 있습니다.
주요 제조업체: 인텔, AMD, 애플
지정된 랜덤 액세스 메모리 / 랜덤 액세스 메모리
이것은 무엇인가: 컴퓨터의 주요 작업 메모리, 즉 활성 프로그램이 저장되는 곳입니다. 지연이 발생하면 계산 대기열이 생기기 때문에 이곳에서는 처리량이 매우 중요합니다.
구성 요소: DRAM 셀( 비트(Bit) 당 트랜지스터 1개 + 커패시터 1개).
가격 및 크기: 다소 비싸고, 용량은 미디엄(Medium) 정도(GB).
제조국: 주로 한국, 대만, 미국에서 제조됩니다.
주요 제조업체: SK하이닉스, 삼성전자, 마이크론
특수 DRAM
간단히 설명하자면, HBM은 초고속 DRAM을 수직으로 쌓아 AI 칩 옆에 배치한 기술입니다. 수직 적층 구조 덕분에 제조 공정이 복잡해지는 대신 처리량이 훨씬 높습니다.
구성 요소: 실리콘 관통 비아(TSV)가 적층된 DRAM 다이.
비용 및 크기: 매우 비싸고, DRAM에 비해 용량은 작지만 속도는 훨씬 빠릅니다.
제조국: 첨단 포장 요건(물리적 수직 통합)으로 인해 대만 및 한국에서 생산됩니다.
주요 제조업체: SK하이닉스, 삼성, 마이크론
NAND는 전원 없이 데이터를 저장하는 비휘발성 플래시 메모리로, SSD, USB 드라이브, 메모리 카드와 같은 고밀도 저장 장치에 사용됩니다.
간단히 설명하자면, 전원이 꺼졌을 때 파일, 앱, 데이터를 장기간 저장하는 장치입니다.
구성 요소: 전기 에너지를 저장하는 NAND 플래시 셀.
비용 및 크기: 기가바이트당 가격이 저렴하고 용량이 크며(수백 GB에서 테라바이트), HBM 및 DRAM보다 처리량은 낮지만 지연 시간이 중요하지 않은 컴퓨팅 작업 부하에는 충분한 경우가 많습니다.
생산지: 주로 아시아(한국, 중국, 일본).
주요 제조업체: 삼성, SK하이닉스, 샌디스크, 마이크론, 키옥시아
간단히 설명하자면, 저렴한 대용량 저장 장치로 사용되는 기존의 회전식 디스크입니다.
구성 요소: 자석 플래터와 기계 부품.
비용 및 크기: 매우 저렴하지만 물리적으로 크고 처리 속도가 느립니다.
제조국: 아시아
주요 제조업체: Seagate, Western Digital, Toshiba
메모리가 프로세서에 가까울수록 속도가 빨라지고 크기가 작아지며 가격이 비싸집니다. 인공지능 (AI)은 이러한 고성능 메모리에 대한 수요를 최상위 계층으로 집중시키고 있습니다. 이는 GPU가 초당 수조 개의 연산을 수행하는 극도로 병렬적인 특성 때문입니다.
HBM은 AI GPU 바로 옆에 위치하기 때문에 가장 중요한 메모리 계층이며, NAND는 데이터 세트, 모델 체크포인트 및 로그를 저장하는 "저장소" 역할을 합니다.
AI 데이터 센터에서 NAND 기반 SSD는 DRAM/HBM에 데이터를 공급하고, HBM은 GPU에 충분한 속도로 데이터를 전달하여 연산 작업을 지속적으로 수행할 수 있도록 합니다. LLM 모델은 이러한 계층형 메모리 아키텍처를 활용하여 모든 스토리지 계층을 가장 효율적으로 사용합니다. 하지만 가능한 한 많은 연산 작업을 GPU에 가깝게 배치하는 것이 항상 바람직합니다.
지난 몇 년간 AI 구축이 진행되면서 HBM과 SSD 모두 전례 없는 수요 증가를 경험했습니다. HBM 수요는 대역폭이 제한 요소이기 때문에 폭발적으로 증가하고 있으며, SSD 수요는 데이터 입력 및 출력(학습 데이터, 검색, 추론 로그)이 지속적으로 증가함에 따라 상승하고 있습니다. 메모리 요구 사항에 대해 종종 간과되는 사실은 에이전트 워크플로의 재귀적 특성입니다. 에이전트는 다른 에이전트를 호출하고, 그 에이전트는 또 다른 에이전트를 호출하는 방식으로 컴퓨팅 리소스를 소비합니다. 따라서 에이전트 활동은 인간의 개입으로 인한 수요를 훨씬 뛰어넘는 수요 증가 상황으로 이어질 수 있습니다.
역사적으로 DRAM과 NAND는 투자자와 시장 전반에서 원자재로 여겨져 왔습니다. 이는 공급이 매우 신중하게 관리되고 수요에 맞춰 조정된다는 것을 의미했습니다. 반도체 제조 시설은 건설 비용과 운영 비용이 막대하기 때문에 과잉 생산은 심각한 결과를 초래할 수 있습니다. 이러한 특성 때문에 과잉 생산을 방지하기 위해 시장의 공급은 점진적으로 증가해 왔습니다. 그러나 AI 수요가 폭발적으로 증가하면서 모든 형태의 메모리가 갑자기 주요 병목 현상이 되었고, 메모리 업체들은 고객에게 상당한 가격 협상력을 갖게 되었습니다. 이러한 가격 협상력을 통해 메모리 업체들은 AI 공급망의 핵심 병목 현상을 해결하고 막대한 수익을 올릴 수 있었습니다. 메모리가 없으면 GPU는 무용지물이 됩니다. 메모리 없이는 어떤 연산도 불가능합니다. 메모리 업체들이 어떻게 가격 협상력을 유지할 수 있는지 이해하기 위해 다음 섹션에서는 그들이 보유한 기술적 해자에 대해 살펴보겠습니다.
메모리 분야 기업들이 단순한 상품 공급업체에서 AI 경쟁의 지배자로 발돋움할 수 있었던 이유는 반도체 제조 공정에 대한 고도의 전문성 덕분입니다. 이러한 공정은 크게 세 가지 핵심 요소로 나눌 수 있습니다.
이 경쟁의 핵심은 수십억 개의 미세 셀을 대규모로 안정적으로 생산하면서도 마진을 극도로 낮춰야 한다는 점입니다. 특히 HBM의 경우, 소수의 업체만이 높은 수율로 구현할 수 있는 첨단 DRAM 기술과 복잡한 3D 스태킹/패키징(TSV, 열 관리, 인터포저)이 필요하며, 고객은 장기간에 걸쳐 부품을 검증해야 합니다.
이러한 이유로 이 경쟁에 참여할 수 있는 회사는 단 세 곳뿐입니다. 한 업체가 차세대 스택을 먼저 출시하면 차세대 제품의 제조 공정을 완벽하게 다듬는 데 있어 확실한 우위를 점할 수 있기 때문에, 이러한 리더십 변화는 매우 중요합니다. 또한 HBM은 프로세서와 함께 패키징되어 제공되고 이전 세대 DRAM(일반 상품과 같은 형태)처럼 균일하지 않기 때문에 표준 DRAM보다 구조적으로 가격이 높습니다.
현재 시장 점유율을 확보할 수 있는 메모리 기업을 설립하려면 20년 이상의 전문 지식과 500억 달러 이상의 자금이 필요합니다. 중국의 YMTC는 기존 DRAM 제조 공정에서는 따라잡았지만, 정부 지원 없이 높은 수율을 달성하는 데 어려움을 겪고 있습니다. 또한 미국이 부과한 원자재 및 기술 수출 제한으로 인해 차세대 반도체 제조 기술 도입에도 제약을 받고 있습니다. 게다가 메모리는 하드웨어이지만, 칩 펌웨어라는 소프트웨어 통합이 필수적입니다. 중국을 비롯한 어떤 국가 기업이든 이러한 소프트웨어 종속성 문제를 해결해야 할 뿐만 아니라, 다른 여러 가지 난관에도 대처할 수 있어야 합니다. 이러한 이유로 메모리 기업은 현재 그 어느 때보다 경쟁 우위를 확보하고 있습니다.
컴퓨팅 성능은 메모리의 데이터 전송 속도보다 훨씬 빠르게 증가했는데, 이것이 바로 "메모리 병목 현상"입니다. 칩은 엄청나게 빠른 속도로 연산을 수행할 수 있지만, 데이터가 충분히 빠르게 칩에 도달하지 못하면 작동이 멈춥니다.
모델 가중치와 활성화 값을 메모리와 연산 장치 사이에서 주고받는 데 많은 시간과 에너지가 소모되지만, 계산 자체에는 많은 시간과 에너지가 소모되지 않으므로 대역폭이 제한 요소가 됩니다.
HBM은 GPU 바로 옆에 고속 메모리를 탑재할 수 있기 때문에 현재로서는 최선의 해결책이지만, 용량과 공급에 제약이 있어 AI 시스템의 확장 속도는 메모리 성능에 따라 결정됩니다.
현재 우리가 목격하고 있는 현상은 미래 인공지능의 핵심 동력이 될 메모리 칩 개발에 필요한 제조 전문성을 보유한 기업이 10개 이하로 집중되어 있다는 것입니다. 이는 단순히 생산성 향상의 문제가 아니라, 차세대 전쟁을 가능하게 하는 이 칩들이 국가 안보와도 직결되는 문제입니다.
만약 당신이 믿는다면:
a) 인공지능은 우리 삶에 영원히 함께할 것이다
b) 인공지능의 요구 사항은 시간이 지날수록 더욱 증가할 것이다.
그렇다면 미래는 40~50년 동안 "상품"을 생산해 온 기업들의 손에 달려 있는데, 이 상품들이 현재 AI 구축의 핵심 병목 현상을 일으키고 있습니다. 이들의 막대한 가격 결정력은 이미 공급망 하류의 많은 기업들을 압박하기 시작했으며, 이러한 추세는 계속 확대되어 고객사의 수익 마진에 악영향을 미칠 것으로 예상됩니다.
우리는 세계 구조의 변화 시점에 서 있으며, 기억은 이러한 새로운 세계 질서의 가장 초기 징후 중 하나일 수 있습니다.
