Mỗi ngày dường như cổ phiếu ngành sản xuất bộ nhớ đều tăng giá. Micron, một trong những nhà sản xuất bộ nhớ lớn nhất, đã tăng gần gấp 3 lần chỉ trong năm qua. Nhiều nhà đầu tư đang mắc kẹt khi chứng kiến những cổ phiếu tương tự tăng giá mỗi ngày, chờ đợi sự điều chỉnh giảm. Tuy nhiên, họ lại không thực sự hiểu sản phẩm đó là gì.
Trong bài viết này, Nicolas và tôi sẽ cùng nhau phân tích một cách dễ hiểu về cơ hội đang hiện hữu. Bắt đầu thôi nào.
Giới thiệu
Vậy trí nhớ là gì và tại sao nó lại quan trọng đến vậy?
Bộ nhớ là thứ cho phép máy tính hoặc thiết bị lưu trữ thông tin trong khi thực hiện các phép tính tạm thời. Điều này chủ yếu được thực hiện thông qua các thao tác đọc và ghi. Mỗi lớp bộ nhớ có các đặc điểm khác nhau về tốc độ đọc/ghi, chi phí và dung lượng.
Trong lĩnh vực trí tuệ nhân tạo, bộ nhớ ngày càng trở nên quan trọng hơn vì các mô hình cần xử lý lượng dữ liệu khổng lồ cùng một lúc. Khi chúng ta sử dụng các công cụ như chatbot, trình tạo ảnh hoặc thuật toán đề xuất, bộ nhớ liên tục di chuyển các tập dữ liệu khổng lồ vào và ra với băng thông cao.
Các mô hình AI càng thông minh và có khả năng cao thì càng cần nhiều bộ nhớ để hoạt động hiệu quả. Nếu không có hệ thống bộ nhớ mạnh mẽ, sự phát triển của các mô hình ngôn ngữ quy mô lớn và các ứng dụng học máy sẽ bị đình trệ.
Để hiểu rõ hơn về trí nhớ, trước tiên chúng ta cần phân tích các lớp cấu tạo của trí nhớ.
Máy tính chia bộ nhớ thành bộ nhớ làm việc (được sử dụng khi hệ thống đang tích cực thực hiện các phép tính) và bộ nhớ lưu trữ (được sử dụng để lưu trữ dữ liệu dài hạn với chi phí là tốc độ đọc/ghi chậm hơn). Sự phân tách này tồn tại vì bộ nhớ có băng thông cao (thời gian đọc/ghi thấp) thì đắt tiền, trong khi bộ nhớ dài hạn rẻ hơn lại có băng thông thấp hơn (thời gian đọc/ghi cao).
Nhiều khái niệm về bộ nhớ đều xoay quanh khoảng cách giữa chip và bộ xử lý. Khoảng cách càng xa, Xuất lượng càng chậm.
Khái niệm: Đây thường là vùng nhớ Xuất lượng cao nhất trong toàn hệ thống vì nó nằm bên trong hoặc ngay cạnh XPU (XPU = CPU hoặc GPU). Nó lưu trữ Bits dữ liệu nhỏ mà bộ xử lý cần ngay lập tức.
Cấu tạo từ: SRAM (bộ nhớ tĩnh được xây dựng trực tiếp trên chip logic).
Chi phí & kích thước: Cực kỳ đắt đỏ trên mỗi Bit, dung lượng lưu trữ nhỏ.
Nơi sản xuất: Trên cùng một con chip với CPU.
Các nhà sản xuất chính: Intel, AMD, Apple
Bộ nhớ truy cập ngẫu nhiên được chỉ định / Bộ nhớ truy cập ngẫu nhiên
Khái niệm: Đây là bộ nhớ làm việc chính của máy tính, nơi lưu trữ các chương trình đang hoạt động. Xuất lượng là rất cần thiết ở đây vì sự chậm trễ sẽ gây ra hiện tượng xếp hàng chờ xử lý các phép tính.
Cấu tạo: Các ô DRAM (một bóng bán dẫn + một tụ điện cho mỗi Bit).
Giá cả & dung lượng: Khá đắt, dung lượng Trung bình (GB).
Nơi sản xuất: Chủ yếu được sản xuất tại Hàn Quốc, Đài Loan và Mỹ.
Các nhà sản xuất chính: SK Hynix, Samsung Electronics, Micron
DRAM chuyên dụng
Khái niệm đơn giản: Bộ nhớ DRAM siêu nhanh được xếp chồng lên nhau theo chiều dọc và đặt cạnh các chip AI. Do cấu trúc xếp chồng theo chiều dọc của HBM, nó có Xuất lượng cao hơn nhưng đổi lại là độ phức tạp trong sản xuất.
Cấu tạo: Các chip DRAM được xếp chồng lên nhau với các đường dẫn xuyên silicon (TSV).
Giá thành và kích thước: Rất đắt, dung lượng nhỏ hơn so với DRAM mặc dù tốc độ nhanh hơn nhiều.
Nơi sản xuất: Đài Loan và Hàn Quốc do yêu cầu đóng gói tiên tiến (tích hợp dọc vật lý)
Các nhà sản xuất chính: SK Hynix, Samsung, Micron
NAND là bộ nhớ flash không bay hơi, lưu trữ dữ liệu mà không cần nguồn điện, được sử dụng trong các thiết bị lưu trữ mật độ cao như SSD, ổ USB và thẻ nhớ.
Khái niệm đơn giản: Lưu trữ dài hạn các tập tin, ứng dụng và dữ liệu khi mất điện.
Cấu tạo: Các ô nhớ flash NAND lưu trữ điện tích.
Chi phí & kích thước: Giá rẻ trên mỗi Gigabyte, dung lượng lớn (hàng trăm GB đến TB), Xuất lượng thấp hơn HBM và DRAM nhưng thường đủ dùng cho các tác vụ tính toán yêu cầu độ trễ thấp.
Nơi sản xuất: Chủ yếu ở châu Á (Hàn Quốc, Trung Quốc, Nhật Bản).
Các nhà sản xuất chính: Samsung, SK Hynix, Sandisk, Micron, Kioxia
Khái niệm đơn giản: Ổ đĩa quay truyền thống dùng để lưu trữ dữ liệu số lượng lớn với giá rẻ.
Cấu tạo gồm: Đĩa từ và các bộ phận cơ khí.
Chi phí & kích thước: Rất rẻ, kích thước lớn, tốc Xuất lượng chậm.
Nơi sản xuất: Châu Á
Các nhà sản xuất chính: Seagate, Western Digital, Toshiba
Bộ nhớ càng gần bộ xử lý thì tốc độ, kích thước và giá thành càng cao, trí tuệ nhân tạo (AI) đẩy nhu cầu lên đỉnh của kim tự tháp. Điều này là do tính chất song song cực kỳ mạnh mẽ của GPU, có khả năng thực hiện hàng nghìn tỷ phép tính mỗi giây .
HBM là lớp bộ nhớ quan trọng nhất vì nó nằm ngay cạnh các GPU AI, trong khi NAND là bộ nhớ "kho lưu trữ" chứa các tập dữ liệu, điểm kiểm tra mô hình và nhật ký.
Trong các trung tâm dữ liệu AI, ổ SSD dựa trên NAND cung cấp dữ liệu cho DRAM/HBM, và HBM sau đó cung cấp dữ liệu cho GPU đủ nhanh để duy trì hoạt động tính toán. Các mô hình LLM sử dụng kiến trúc bộ nhớ phân tầng này để đảm bảo sử dụng hiệu quả nhất tất cả các lớp lưu trữ. Tuy nhiên, ưu tiên hàng đầu vẫn là đặt càng nhiều tác vụ tính toán càng gần GPU càng tốt.
Trong vài năm qua, trong quá trình phát triển trí tuệ nhân tạo (AI), cả hai loại bộ nhớ này đều chứng kiến nhu cầu chưa từng có. Nhu cầu về bộ nhớ HBM tăng vọt vì băng thông là yếu tố hạn chế, trong khi nhu cầu về SSD tăng lên do lượng dữ liệu đầu vào và đầu ra tiếp tục tăng (dữ liệu huấn luyện, truy xuất, nhật ký suy luận). Một thực tế thường bị đánh giá thấp về nhu cầu bộ nhớ là tính chất đệ quy của các quy trình làm việc của tác nhân, chúng tiêu thụ tài nguyên tính toán khi gọi các tác nhân khác, và các tác nhân này lại gọi thêm nhiều tác nhân nữa. Do đó, hoạt động của tác nhân có thể dẫn đến tình huống nhu cầu vượt quá nhu cầu do con người tạo ra.
Trong lịch sử, DRAM và NAND được các nhà đầu tư và thị trường nói chung coi là hàng hóa. Điều này có nghĩa là nguồn cung được theo dõi rất cẩn thận và điều chỉnh để đáp ứng nhu cầu khi cần thiết. Việc sản xuất dư thừa sẽ gây ra hậu quả nghiêm trọng vì việc xây dựng và vận hành các nhà máy bán dẫn rất tốn kém. Do đó, nguồn cung trên thị trường được tăng dần để tránh tình trạng dư thừa. Tuy nhiên, khi nhu cầu về AI bùng nổ, đột nhiên tất cả các loại bộ nhớ đều trở thành những nút thắt quan trọng và mang lại cho các nhà sản xuất bộ nhớ lợi thế định giá đáng kể so với khách hàng. Lợi thế định giá này cho phép họ thu được lợi nhuận khổng lồ vì họ là nút thắt quan trọng trong chuỗi cung ứng AI. GPU không có bộ nhớ sẽ trở nên vô dụng. Không thể thực hiện bất kỳ phép tính nào nếu không có bộ nhớ. Để hiểu tại sao và làm thế nào họ có thể duy trì lợi thế định giá, phần tiếp theo sẽ nói về rào cản công nghệ mà họ nắm giữ.
Điều khiến các nhà sản xuất bộ nhớ chuyển từ vị thế hàng hóa thông thường thành những ông trùm trong cuộc đua trí tuệ nhân tạo chính là sự chuyên môn hóa cao cấp của họ trong các quy trình sản xuất chất bán dẫn. Các quy trình này có thể được chia thành ba yếu tố chính:
Thành công nằm ở việc sản xuất hàng tỷ tế bào nhỏ một cách đáng tin cậy, trên quy mô lớn, với biên lợi nhuận cực kỳ thấp. Riêng đối với HBM, bạn cần DRAM tiên tiến và công nghệ xếp chồng/đóng gói 3D phức tạp (TSV, tản nhiệt, lớp trung gian) mà chỉ một vài nhà sản xuất có thể thực hiện với năng suất cao, và khách hàng phải kiểm định linh kiện qua các chu kỳ dài.
Chính vì lý do này mà chỉ có ba công ty đủ điều kiện tham gia cuộc chơi này. Sự thay đổi vị trí dẫn đầu rất quan trọng khi một nhà cung cấp tung ra các chip thế hệ tiếp theo sớm hơn, vì điều đó mang lại cho họ lợi thế rõ rệt trong việc hoàn thiện quy trình sản xuất của thế hệ tiếp theo. HBM cũng có giá thành cao hơn so với DRAM tiêu chuẩn do được đóng gói cùng với bộ xử lý và không đồng nhất như các thế hệ DRAM trước đây (vốn là "hàng hóa thông dụng").
Việc thành lập một công ty sản xuất bộ nhớ có thể cạnh tranh ở quy mô của các đối thủ hiện tại sẽ cần hơn hai thập kỷ kinh nghiệm và hơn 50 tỷ đô la. Công ty YMTC của Trung Quốc đã bắt kịp các quy trình sản xuất DRAM truyền thống nhưng gặp khó khăn trong việc đạt năng suất cao và không có sự hỗ trợ của chính phủ. Họ cũng bị hạn chế tiếp cận các khả năng sản xuất chất bán dẫn thế hệ tiên tiến hơn do các hạn chế xuất khẩu vật liệu và công nghệ do Hoa Kỳ áp đặt. Hơn nữa, mặc dù bộ nhớ là "phần cứng", vẫn có một chuỗi phần mềm dưới dạng firmware chip cần được tích hợp sâu. Trung Quốc hoặc bất kỳ quốc gia nào khác tham gia vào thị trường đều phải vượt qua được những rào cản phần mềm sâu rộng, bên cạnh tất cả những thách thức khác. Chính vì lý do này, các công ty sản xuất bộ nhớ đang ở giai đoạn có khả năng tự vệ cao hơn bất kỳ giai đoạn nào khác trong vòng đời của chúng.
Sức mạnh tính toán thô đã tăng nhanh hơn khả năng xử lý dữ liệu của bộ nhớ, đây chính là "bức tường bộ nhớ". Các chip có thể thực hiện các phép toán cực nhanh, nhưng chúng sẽ bị tắc nghẽn nếu dữ liệu không đến được với chúng đủ nhanh.
Rất nhiều thời gian và năng lượng được dành cho việc chuyển các trọng số mô hình và các kích hoạt giữa bộ nhớ và máy tính, chứ không phải bản thân phép toán, do đó băng thông trở thành yếu tố hạn chế.
HBM hiện là giải pháp thay thế tốt nhất vì nó cung cấp bộ nhớ tốc độ cao, dung lượng lớn ngay cạnh GPU, nhưng nó bị hạn chế về dung lượng và nguồn cung, do đó bộ nhớ sẽ quyết định tốc độ mở rộng của các hệ thống AI.
Những gì chúng ta đang chứng kiến hiện nay là một nhóm gồm 10 công ty trở xuống nắm giữ chuyên môn sản xuất để phát triển các chip nhớ cung cấp năng lượng cho tương lai của trí tuệ nhân tạo. Điều này không chỉ là vấn đề năng suất, mà còn dần dần ảnh hưởng đến an ninh quốc gia khi những con chip này cho phép diễn ra các cuộc chiến tranh thế hệ tiếp theo.
Nếu bạn tin rằng:
a) Trí tuệ nhân tạo sẽ tồn tại mãi mãi
b) Nhu cầu của AI sẽ chỉ tăng lên theo thời gian
Tương lai thuộc về những công ty có tuổi đời 40-50 năm, những công ty đã sản xuất ra các "mặt hàng" hiện đang là nút thắt cổ chai cốt lõi trong quá trình phát triển trí tuệ nhân tạo. Sức mạnh định giá khổng lồ của họ đã cho phép họ bắt đầu bóc lột nhiều công ty ở khâu sau trong chuỗi cung ứng và chúng tôi tin rằng xu hướng này sẽ tiếp tục mở rộng, ảnh hưởng đến lợi nhuận của khách hàng của họ.
Chúng ta đang ở thời điểm chuyển đổi cấu trúc trên thế giới và ký ức rất có thể là một trong những dấu hiệu sớm nhất của trật tự thế giới mới này.
