NVLink - Đường cao tốc giữa các GPU! - Blog

NVLink là gì và nó hoạt động như thế nào?

Các siêu máy tính và hệ thống AI trước đây đã phải dựa vào PCI Express (như PCIe 4.0) để kết nối GPU với CPU, nhưng công nghệ này đã không theo kịp những tiến bộ nhanh chóng của GPU. Vì thế mà NVIDIA đã đưa ra công nghệ NVLink để kết nối các GPU, giúp trao đổi dữ liệu nhanh hơn từ 5 đến 12 lần, đồng thời cũng tiết kiệm năng lượng hơn rất nhiều.

Cơ chế hoạt động của NVLink

NVLink là công nghệ kết nối hệ thống độc quyền đầu tiên trên thế giới của NVIDIA cho phép nhiều GPU giao tiếp trực tiếp thông qua kết nối tốc độ cao, mang lại lợi thế lớn cho NVLink bằng cách cho phép bộ nhớ khả dụng của cả hai GPU được kết hợp và truy cập mọi lúc.

Điều này làm tăng tốc độ dữ liệu có thể được trao đổi, cho phép các ứng dụng và workload được thiết kế với NVIDIA NVLink có thể hưởng lợi từ việc tăng cường hiệu suất đáng kể.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

NVLink yêu cầu một cầu nối vật lý (NVLink Bridge) giữa các card GPU và sử dụng mạng dạng Mesh, là một cấu trúc liên kết mạng cục bộ, trong đó các node hạ tầng kết nối trực tiếp theo kiểu không phân cấp, cho phép mỗi node chuyển tiếp thông tin thay vì định tuyến thông tin qua bất kỳ node nào.

NVLink Bridge hoạt động tốt nhất với các model GPU: GV100, GP100, Quadro RTX, Titan RTX, GeForce RTX 20-series, GeForce RTX 30-series, Professional Ampere RTX và các GPU cấp Trung tâm dữ liệu của NVIDIA đều hỗ trợ NVLink. NVLink Bridge cũng có nhiều kích cỡ khác nhau cho cả dòng GPU Quadro và GeForce, RTX và Data Center.

Các GPU hiệu suất cao như A100 và H100 PCIe có thể được kết nối với tối đa 3 NVLink Bridge để kết nối và cung cấp nhiều băng thông hơn.

Các GPU cấp Trung tâm dữ liệu của NVIDIA như phiên bản A100 và H100 SXM được kết nối thông qua hệ thống NVLink Switch đặc biệt được tích hợp trên bo mạch hệ thống HGX hoặc hệ thống DGX với tổng băng thông lên đến 600GB/s (A100) hoặc 900GB/s (H100).

Các GPU NVIDIA thế hệ mới không hỗ trợ NVLink ví dụ có GeForce RTX 4090 và GPU RTX 6000 Ada Generation.

Ma trận kết nối

Kết luận

NVLink Bridge có tất cả các hình dạng và kích thước khác nhau nhưng đều phục vụ cùng một chức năng. Hiện có các dòng sản phẩm với các tên thương mại Quadro RTX, Titan RTX, GeForce RTX, v.v. để phù hợp với các thiết lập hệ thống khác nhau. Chúng có các kích thước: 2-slot và 3-slot để lắp các GPU và tạo các thiết lập khác nhau.

Kể từ tháng 10 năm 2022, NVLink sẽ bị loại bỏ dần trong kiến trúc Ada Lovelace mới của NVIDIA. GeForce RTX 4090 và RTX 6000 Ada đều không hỗ trợ NVLink.

NVIDIA đang dành riêng NVLink để chỉ được sử dụng trong trung tâm dữ liệu, nơi mà việc song song hóa giữa toàn bộ cụm hoặc hạ tầng của GPU đòi hỏi kết nối GPU-to-GPU băng thông và đáp ứng cực cao.

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

____
Bài viết liên quan