OpenAI가 개발한 Cerebras 칩은 꽤 흥미롭네요 😅 1. 웨이퍼 스케일: 세계에서 가장 큰 칩. 얼마나 클까요? 얼굴만 한 크기입니다. 😅 트랜지스터 개수: 4조 개 (참고로 H100은 800억 개에 불과합니다). 2. 매우 높은 온칩 메모리 대역폭 (온칩 SRAM) 이것이 바로 세레브라가 GPU를 압도하기 위한 핵심 무기입니다. 병목 현상 해소: 기존 GPU 아키텍처에서는 모델 계산을 위해 비디오 메모리(HBM)와 컴퓨팅 코어 간에 빈번한 데이터 전송이 필요하며, 이로 인해 상당한 에너지 소비와 지연 시간이 발생합니다. (인메모리 컴퓨팅이 HBM의 성장 속도를 늦추기는 하지만, 시장 규모가 충분히 크고 SRAM 또한 가격이 비싸 초기 단계에서는 삼성, 하이닉스, 마이크론 등 3대 기업에 큰 위협이 되지 않습니다.) 온칩 스토리지: 세레브라는 최대 44GB의 온칩 SRAM 메모리를 탑재하고 있으며, 대역폭은 초당 21페타바이트(PB)에 달합니다. 이는 모델 가중치의 대부분을 온칩에 저장할 수 있으며, 읽기/쓰기 속도가 GPU 메모리보다 수천 배 빠르다는 것을 의미합니다. 따라서 오픈아이얼(OpenAI) 모델처럼 "즉각적인" 추론이 가능합니다. 3. 단일 머신 또는 클러스터의 프로그래밍 및 확장 간소화: 칩 자체의 크기가 충분히 크기 때문에 단일 세레브라스 노드(CS-3)의 해시레이트 수십 개 또는 수백 개의 기존 GPU 노드에 필적합니다. 모델을 분할할 필요가 없습니다. 개발자는 GPU 클러스터에서처럼 대규모 모델을 여러 부분으로 나누고 복잡한 서버 간 통신(모델 병렬 처리)을 고려할 필요가 없습니다. Cerebras의 관점에서 전체 모델은 "하나의" 칩에서 실행됩니다. 4. 대규모 언어 모델(LLM)의 0 값에 대한 희소 최적화: AI 모델에는 "0"인 가중치가 많습니다(희소성). 기존 GPU는 이러한 0에 대해 비효율적인 계산을 수행합니다. 세레브라 칩에는 0 값을 직접 건너뛸 수 있는 희소 컴퓨팅 엔진이 내장되어 있어 성능을 더욱 향상시킬 수 있습니다.