NVIDIA A2 Tensor Core GPU: Mang NVIDIA AI đến bất kỳ máy chủ nào của bạn

Một trong những thông tin nổi bật tại GTC Fall 2021 lần này là sự xuất hiện của GPU NVIDIA A2, GPU cấp thấp nhưng có khả năng mang lại hiệu suất suy luận cao hơn 20 lần so với CPU, tối ưu hóa sử dụng cho các hệ thống suy luận AI với GPU cấu hình thấp. NVIDIA A2 cũng được xem là sản phẩm kế thừa của NVIDIA T4.

Xử lý suy luận linh hoạt với chi phí thấp

GPU NVIDIA A2 Tensor Core cung cấp khả năng suy luận cấp độ đầu vào với công suất thấp và hiệu suất cao cho NVIDIA AI ở biên. Với PCIe Gen4 cấu hình thấp và công suất thiết kế nhiệt (TDP) chỉ từ 40-60W, A2 mang đến khả năng tăng tốc suy luận linh hoạt cho bất kỳ máy chủ nào để triển khai trên quy mô lớn

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Tính linh hoạt, kích thước nhỏ gọn và công suất thấp của A2 vượt quá nhu cầu triển khai cạnh trên quy mô lớn, ngay lập tức nâng cấp các máy chủ CPU cấp thấp hiện có để xử lý suy luận. Máy chủ được tăng tốc với GPU A2 mang lại hiệu suất suy luận cao hơn so với CPU và triển khai phân tích video thông minh (IVA) hiệu quả hơn so với các GPU thế hệ trước

Năng lực suy luận tăng 20 lần

Suy luận của AI được triển khai để nâng cao sử dụng của người dùng với trải nghiệm thông minh, thời gian thực và để có được thông tin chi tiết từ hàng nghìn tỷ cảm biến và máy ảnh điểm cuối. So với các máy chủ chỉ sử dụng CPU, các máy chủ Egde Server với GPU NVIDIA A2 Tensor Core có thể cung cấp hiệu suất suy luận cao hơn gấp 20 lần, ngay lập tức nâng cấp sức mạnh để xử lý AI hiện đại cho bất kỳ máy chủ nào.

Hiệu năng cao hơn cho phân tích video thông minh tại Edge

Máy chủ được trang bị GPU NVIDIA A2 cung cấp hiệu suất cao hơn gấp 1,3 lần trong các trường hợp sử dụng thông minh, bao gồm thành phố thông minh, sản xuất và bán lẻ. GPU NVIDIA A2 sử dụng cho tải công việc IVA (Intelligent Video Analytics) mang lại khả năng triển khai hiệu quả hơn tới 1,6 lần và hiệu suất năng lượng tốt hơn 10% so với các thế hệ GPU trước

Tối ưu cho mọi loại máy chủ

NVIDIA A2 là một card PCIe cấu hình thấp và năng lượng thấp. Cụ thể TDP chỉ từ 40-60W. Giao diện cũng là PCIe Gen4 x8, rất dễ lắp vào máy chủ và đơn giản trong cấp nguồn và làm mát.

Một trong những đột phá lớn nhất của NVIDIA T4 là nó có thể được bố trí vật lý vào những nơi thường dành cho NIC và các thiết bị cấu hình thấp khác. Điều này giúp cải thiện luồng không khí trong khung gầm và giảm yêu cầu hệ thống để có thể tích hợp A2.

NVIDIA A2 được tối ưu hóa cho khối lượng công việc suy luận và triển khai trong các máy chủ cấp đầu vào bị hạn chế bởi các yêu cầu về không gian và nhiệt, chẳng hạn như cạnh 5G và môi trường công nghiệp.

Nhìn chung, đây là một bước tiến tốt của NVIDIA, với NVIDIA A2 cùng kiến trúc Ampere, giờ đây các hệ thống suy luận AI của khách hàng sẽ được cải tiến mạnh mẽ hơn về hiệu suất, tốt hơn các GPU suy luận thế hệ trước đây, với một mức chi phí hợp lý và dễ dàng lắp đặt trên các GPU Server hiện nay.

Thông số kỹ thuật chính của NVIDIA A2

Dưới đây là các thông số kỹ thuật chính của NVIDIA A2:

Peak FP32	4.5 TF
TF32 Tensor Core	9 TF \| 18 TF¹
BFLOAT16 Tensor Core	18 TF \| 36 TF¹
Peak FP16 Tensor Core	18 TF \| 36 TF¹
Peak INT8 Tensor Core	36 TOPS \| 72 TOPS¹
Peak INT4 Tensor Core	72 TOPS \| 144 TOPS¹
RT Cores	10
Media engines	1 video encoder 2 video decoders (includes AV1 decode)
GPU memory	16GB GDDR6
GPU memory bandwidth	200GB/s
Interconnect	PCIe Gen4 x8
Form factor	1-slot, low-profile PCIe
Max thermal design power (TDP)	40–60W (configurable)
Virtual GPU (vGPU) software support^²	NVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS)

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

____
Bài viết liên quan