Tin tốt cho các nhà phát triển và người yêu thích AI: Nvidia vừa giúp giảm đáng kể chi phí để xây dựng các robot, máy bay không người lái, camera thông minh và các thiết bị khác có nhu cầu xử lý Bit. Sản phẩm mới Jetson Orin Nano Super của công ty, được công bố vào thứ Ba và hiện đã có sẵn, mang lại sức mạnh xử lý lớn hơn so với phiên bản trước đó, nhưng chỉ với một nửa giá, chỉ 249 USD.
Chiếc máy tính cầm tay này mang lại tăng tốc hiệu suất 70%, đạt 67 nghìn tỷ phép tính mỗi giây cho các tác vụ AI. Đây là một bước nhảy vọt đáng kể so với các mẫu trước đây, đặc biệt là để cung cấp sức mạnh cho các ứng dụng như Bots trò chuyện, thị giác máy tính và ứng dụng robot.
"Đây là Jetson Nano Super hoàn toàn mới. Gần 67 nghìn tỷ phép tính mỗi giây, 25 watt và 249 USD," Giám đốc điều hành Nvidia Jensen Huang cho biết trong một video tiết lộ chính thức từ nhà bếp của ông. "Nó chạy mọi thứ mà HGX làm, thậm chí cả LLMs."
Băng thông bộ nhớ cũng được nâng cấp đáng kể, tăng lên 102 gigabyte mỗi giây, nhanh hơn 50% so với thế hệ trước của Jetson. Cải tiến này có nghĩa là thiết bị có thể xử lý các mô hình AI phức tạp hơn và xử lý dữ liệu từ tối đa bốn camera cùng một lúc.
Thiết bị này đi kèm với GPU kiến trúc Ampere và bộ xử lý ARM 6 lõi của Nvidia, cho phép chạy nhiều ứng dụng AI cùng một lúc. Điều này mang lại cho các nhà phát triển tiềm năng để làm việc với nhiều năng lực khác nhau, như xây dựng các mô hình nhỏ cho robot có khả năng như bản đồ hóa môi trường, nhận dạng vật thể và lệnh thoại với công suất xử lý thấp.
Chủ sở hữu Jetson Orin Nano hiện tại cũng không bị bỏ lại. Nvidia đang phát hành bản cập nhật phần mềm để tăng hiệu quả của các bộ xử lý AI thế hệ trước.
Các con số đằng sau Jetson Orin Nano Super mới của Nvidia kể một câu chuyện thú vị. Với chỉ 1.024 lõi CUDA, nó trông khiêm tốn hơn so với RTX 2060 có 1.920 lõi, RTX 3060 có 3.584 lõi hoặc RTX 4060 có 3.072 lõi. Nhưng số lõi thô không phải là toàn bộ câu chuyện.
Trong khi các GPU dành cho game như dòng RTX tiêu thụ từ 115 đến 170 watt, Jetson chỉ tiêu thụ 7 đến 25 watt. Đây là khoảng một phần bảy mức tiêu thụ điện của RTX 4060 - hiệu quả nhất trong số này.
Các con số về băng thông bộ nhớ cũng vẽ ra một bức tranh tương tự. 102 GB/giây của Jetson có thể trông không ấn tượng lắm so với 300+ GB/giây của các thẻ RTX, nhưng nó được tối ưu hóa cụ thể cho các tải Đào coin AI tại mép, nơi xử lý dữ liệu hiệu quả quan trọng hơn là xuất lượng thô.
Tuy nhiên, phép màu thực sự xảy ra ở hiệu suất AI. Thiết bị này tạo ra 67 TOPS (nghìn tỷ phép tính mỗi giây) cho các tác vụ AI - một con số khó so sánh trực tiếp với TFLOPS của các thẻ RTX vì chúng đo các loại phép tính khác nhau.
Nhưng thực tế, Jetson có thể xử lý các tác vụ như chạy Bots trò chuyện cục bộ, xử lý nhiều luồng camera và điều khiển robot - tất cả đều đồng thời trong một ngân sách điện năng có thể chỉ vừa đủ để chạy quạt làm mát của một GPU dành cho game, gần như ngang ngửa với RTX 2060 nhưng chỉ với một phần nhỏ về chi phí và tiêu thụ điện.
8GB bộ nhớ chia sẻ của nó có thể trông thấp, nhưng điều đó có nghĩa là nó có khả năng hơn một RTX 2060 thông thường khi chạy các mô hình AI cục bộ như Flux hoặc Stable Diffusion có thể gây ra lỗi "hết bộ nhớ" trên những GPU đó, hoặc chuyển một phần công việc sang RAM thông thường, giảm thời gian suy luận - cơ bản là quá trình "suy nghĩ" của AI.
Jetson Orin Nano Super cũng hỗ trợ các mô hình ngôn ngữ nhỏ và lớn, bao gồm cả những mô hình có tới 8 tỷ tham số, như mô hình Llama 3.1. Nó có thể tạo ra các Token với tốc độ khoảng 18-20 Token mỗi giây khi sử dụng phiên bản định lượng của các mô hình này. Hơi chậm, nhưng vẫn đủ tốt cho một số ứng dụng cục bộ. Tuy nhiên, đây vẫn là một bước cải thiện so với thế hệ trước của phần cứng AI Jetson.
Với mức giá và đặc tính của mình, Jetson Orin Nano Super chủ yếu được thiết kế cho việc xây dựng mẫu và các ứng dụng quy mô nhỏ. Đối với những người dùng cao cấp, doanh nghiệp hoặc các ứng dụng yêu cầu nhiều tài nguyên tính toán, khả năng của thiết bị này có thể cảm thấy hạn chế so với các hệ thống cao cấp hơn có giá cao hơn nhiều và yêu cầu nhiều điện năng hơn.
Biên tập bởi Andrew Hayward
