NVIDIA vừa tung ra một benchmark mang tính "hạt nhân" - và các nhà giao dịch ALGO trên Phố Wall đã định giá sai nó.
GB200 NVL72 không phải là một bản nâng cấp. Đó là một sự kiện diệt vong cho phần cứng AI cũ, kết hợp với các mô hình GPT-OSS của OpenAI để viết lại các quy tắc về xuất lượng học máy.
Chế độ quái thú được làm mát bằng chất lỏng với 72 nút
Hãy quên đi những bước tiến gia tăng. Miếng silicon đen này mang lại những bước nhảy vọt về hiệu quả đào tạo trong khi tiêu thụ ít năng lượng hơn ngân sách cocaine cuối tuần của một quỹ phòng hộ.
Cuộc chạy đua vũ khí nguồn mở leo thang
Các mô hình GPT-OSS giờ đây xử lý dữ liệu phi cấu trúc như một thiết bị đầu cuối Bloomberg trong các lệnh margin - nhưng lại có quản lý rủi ro thực sự. Sự kết hợp này tạo ra cơ sở hạ tầng hoàn hảo cho các mạng AI phi tập trung thế hệ tiếp theo.
Các tổ chức có cuối cùng tỉnh táo không? Hay vẫn tiếp tục giả vờ rằng các lõi CUDA chỉ là "một xu hướng thoáng qua" trong khi giới bán lẻ đang xây dựng tương lai?
NVIDIA, trong sự hợp tác với OpenAI, đã thông báo những bước tiến đáng kể trong hiệu năng AI, tận dụng sức mạnh của hệ thống Nvidia GB200 NVL72. Việc ra mắt gần đây của các mô hình OpenAI gpt-oss-20b và gpt-oss-120b hứa hẹn sẽ cung cấp tới 1,5 triệu token trên mỗi giây (Số lượng giao dịch trên mỗi giây), đánh dấu một bước nhảy vọt đáng kể trong khả năng xử lý AI, theo NVIDIA.
Khả Năng AI Nâng Cao
Các mô hình gpt-oss, được biết đến với khả năng lý luận văn bản, được xây dựng bằng kiến trúc hỗn hợp chuyên gia (MoE) với các kích hoạt SwigGLU. Các mô hình này sử dụng RoPE cho các lớp chú ý, hỗ trợ độ dài ngữ cảnh 128k và được tối ưu hóa cho kiến trúc Blackwell của NVIDIA. Chúng được phát hành với độ chính xác FP4, tương thích với GPU trung tâm dữ liệu 80 GB và được tối ưu hóa cho phần cứng tiên tiến của NVIDIA.
Các Bước Phát Triển Hợp Tác
Sự hợp tác của NVIDIA với OpenAI mở rộng sang các framework nguồn mở khác nhau, bao gồm Hugging Face Transformers và NVIDIA TensorRT-LLM, để nâng cao hiệu suất mô hình và khả năng truy cập của nhà phát triển. Đặc biệt, mô hình gpt-oss-120b đã yêu cầu quá trình đào tạo rộng lớn, lên tới hơn 2,1 triệu giờ GPU.
Thông Số Kỹ Thuật
Các mô hình gpt-oss-20b và gpt-oss-120b có một loạt các thông số để đáp ứng các nhu cầu AI đa dạng. Bao gồm số lượng khối transformer khác nhau, tổng số tham số và cấu hình chuyên gia, được thiết kế để tối ưu hóa hiệu suất suy luận trên các nền tảng của NVIDIA.
Các Tùy Chọn Triển Khai
NVIDIA cung cấp nhiều tùy chọn triển khai cho các nhà phát triển, bao gồm việc sử dụng vLLM và TensorRT-LLM để thiết lập máy chủ và tối ưu hóa hiệu suất. Hệ thống GB200 NVL72 được thiết kế để xử lý xuất lượng cao, phục vụ hiệu quả tới 50.000 người dùng đồng thời.
Triển Vọng Tương Lai
Với việc giới thiệu những mô hình tiên tiến này, NVIDIA nhằm hỗ trợ một phạm vi rộng các ứng dụng AI từ đám mây đến cạnh. Những nỗ lực của họ trong việc tích hợp các mô hình gpt-oss trên các nền tảng khác nhau cho thấy cam kết nâng cao cơ sở hạ tầng AI và trải nghiệm của nhà phát triển.
Để biết thêm chi tiết về việc triển khai và khả năng của các mô hình này, hãy truy cập blog của NVIDIA.
Nguồn hình ảnh: Shutterstock- nvidia
- openai
- mô hình ai
- gb200 nvl72
