Con chip Cerebras do OpenAI phát triển khá thú vị đấy 😅 1. Kích thước wafer: Con chip lớn nhất thế giới. Nó lớn đến mức nào? Khoảng bằng kích thước một khuôn mặt. 😅 Số lượng bóng bán dẫn: 4 nghìn tỷ bóng bán dẫn (để so sánh, H100 chỉ có 80 tỷ). 2. Băng thông bộ nhớ trên chip cực cao (SRAM trên chip) Đây là vũ khí chủ lực của Cerebra để nghiền nát GPU. Loại bỏ điểm nghẽn: Trong các kiến ​​trúc GPU truyền thống, việc tính toán mô hình đòi hỏi phải truyền dữ liệu thường xuyên giữa bộ nhớ video (HBM) và các lõi xử lý, dẫn đến tiêu thụ năng lượng và độ trễ đáng kể. (Mặc dù điện toán trong bộ nhớ làm giảm tăng trưởng của HBM, nhưng thị trường vẫn đủ lớn, và SRAM cũng đắt tiền, nên ít gây ra mối đe dọa cho ba gã khổng lồ Samsung, Hynix và Micron trong giai đoạn đầu.) Bộ nhớ trên chip: Cerebras sở hữu bộ nhớ SRAM trên chip lên đến 44GB với băng thông 21 PB (PetaByte) mỗi giây. Điều này có nghĩa là hầu hết tỷ trọng của mô hình có thể được lưu trữ hoàn toàn trên chip, với tốc độ đọc và ghi nhanh hơn hàng nghìn lần so với bộ nhớ GPU, cho phép suy luận "tức thì" giống như các mô hình OpenAI. 3. Lập trình tối giản và mở rộng Máy đơn lẻ hoạt động như một cụm máy tính: Do bản thân chip đủ lớn, tỷ lệ băm của một nút Cerebras (CS-3) đơn lẻ tương đương với sức mạnh của hàng chục hoặc thậm chí hàng trăm nút GPU truyền thống. Không cần chia nhỏ mô hình: Các nhà phát triển không cần phải chia một mô hình lớn thành nhiều phần và xem xét việc giao tiếp phức tạp giữa các máy chủ (song song hóa mô hình) như trên cụm GPU. Từ góc nhìn của Cerebras, toàn bộ mô hình chạy trên "một" chip duy nhất. 4. Tối ưu hóa thưa cho các giá trị bằng 0 trong Mô hình Ngôn ngữ Lớn (LLM): Các mô hình AI có nhiều tỷ trọng bằng 0 (tính thưa), và các GPU truyền thống vẫn thực hiện các phép tính không hiệu quả trên các giá trị 0 này. Chip Cerebras có công cụ tính toán thưa tích hợp có thể trực tiếp bỏ qua các giá trị 0, từ đó khai thác hiệu năng hơn nữa.