NVIDIA giới thiệu kiến trúc bộ xử lý dữ liệu BlueField-3 DPU

NVIDIA BlueField-3 DPU đã được NVIDIA giới thiệu và ra mắt ở những sự kiến lớn về GPU như GTC21. Tuy nhiên tại Hot Chips 33, công ty bắt đầu nói nhiều hơn về thế hệ DPU NVIDIA BlueField-3 2022, đây là một sản phẩm tiếp theo của BlueField-2 DPU, được tối ưu sử dụng cho các hạ tầng NVIDIA DGX để phục vụ cho các hạ tầng AI Enterprise hiện nay.

NVIDIA BlueField-2 DPU 2x 100GbE

Kiến trúc NVIDIA BlueField-3 DPU

NVIDIA đang xây dựng một platform mà họ tin là chip và bộ tăng tốc cần thiết để chạy phần cơ sở hạ tầng của trung tâm dữ liệu đồng thời cung cấp thêm tính bảo mật và khả năng triển khai linh hoạt.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI
HC33 NVIDIA BlueField 3 DPU Giới thiệu Đơn vị Xử lý Dữ liệu
Giới thiệu Đơn vị Xử lý Dữ liệu NVIDIA BlueField 3 DPU

Một số SmartNIC cấp thấp hơn trông chỉ đơn giản là di chuyển khối lượng công việc CPU trực tiếp đến các lõi Arm trên SmartNIC. Cách tiếp cận đó đã không còn được ưa chuộng vì thường lõi SmartNIC chậm hơn lõi CPU cao cấp. Tại một số thời điểm, người ta chỉ cần thêm quá nhiều lõi để mô hình này hoạt động.HC33 NVIDIA BlueField 3 DPU Khối lượng công việc di chuyển tự nhiên không hoạt động

NVIDIA nhận thấy rằng việc tăng tốc mạng là quan trọng để thu được nhiều lợi nhuận và hiệu quả hoạt động hơn từ việc thêm các bộ tăng tốc chứ không chỉ đơn giản là thêm các lõi Arm.

Cần có bộ tăng tốc NVIDIA BlueField 3 DPU HC33
Bộ tăng tốc NVIDIA BlueField 3 DPU 

NVIDIA đang tìm cách tăng gấp đôi hiệu suất mạng và gần gấp bốn lần hiệu suất CPU trong mỗi thế hệ. Cuối cùng, khả năng tăng tốc NVIDIA AI cho hội nghị sẽ được đưa vào DPU.

HC33 NVIDIA BlueField 3 DPU Lộ trình Q3 2021
 NVIDIA BlueField 3 DPU Lộ trình Q3 2021

Xem qua các thông số kỹ thuật, đây là một lượng lớn hiệu suất và một bước nhảy lớn từ thế hệ này sang thế hệ khác. “ tương đương 300 lõi x86” bao gồm khối lượng công việc chuyển sang bộ tăng tốc từ lõi CPU.

HC33 NVIDIA BlueField 3 DPU Tổng quan
 Tổng quan NVIDIA BlueField 3 DPU

NVIDIA hy vọng DOCA sẽ trở thành CUDA của thế giới mạng và cơ sở hạ tầng.

HC33 NVIDIA BlueField 3 DPU DOCA
NVIDIA BlueField 3 DPU DOCA

BlueField-3 sử dụng 16 nhân Arm A78. Điều đó có nghĩa là từ góc độ CPU rằng nó chậm hơn so với các lõi Marvell Octeon 10 36 N2. NVIDIA cũng có bộ tăng tốc đường dẫn dữ liệu với 16 lõi và 256 luồng. Công ty cũng có các lõi xử lý có thể lập trình được.HC33 Động cơ lập trình NVIDIA BlueField 3 DPU

Động cơ lập trình được NVIDIA BlueField 3 DPU

Đây là kiến ​​trúc tổng thể. Ví dụ về hệ điều hành trung tâm dữ liệu, chúng tôi sử dụng Ubuntu Server. Ta sẽ thấy rằng hệ thống con NIC độc lập với hệ thống Arm và chạy hệ điều hành thời gian thực của riêng nó. Do đó, có thể khởi động lại phía ARM và không khởi động lại phía NIC. Ví dụ, trong các DPU BlueField-2 hiện tại, người ta có thể thiết lập NIC để có cấu trúc ARM như một vết trượt trong dây giữa máy chủ và NIC hoặc chúng có thể chạy độc lập. Với BlueField-2, các khả năng của CPU còn sơ khai hơn nhiều, do đó sẽ có một hình phạt hiệu suất lớn hơn đối với sự cố trong thiết lập dây.

Kiến trúc hệ thống HC33 NVIDIA BlueField 3 DPU
Kiến trúc hệ thống NVIDIA BlueField 3 DPU

Đây là cách NVIDIA phân tách đường dẫn dữ liệu và đường dẫn điều khiển dọc theo những gì được tăng tốc phần cứng nhiều và những gì được xác định bởi phần mềm.

HC33 NVIDIA BlueField 3 DPU xử lý gói và chuyển mạch tăng tốc
 NVIDIA BlueField 3 DPU xử lý gói và chuyển mạch tăng tốc

NVIDIA có một số ví dụ, một là sử dụng hiệu suất OVS và DPDK.

HC33 NVIDIA BlueField 3 DPU 100Gb OVS DPDK
NVIDIA BlueField 3 DPU 100Gb OVS DPDK

Tương tự như vậy, để tăng tốc lưu trữ, chúng ta có thể thấy rằng DPU có thể được kết nối với SSD NVMe. LVM hoặc RAID phần mềm có thể được chạy trên DPU và bộ lưu trữ có thể được gắn trực tiếp vào DPU. Như một tác động, điều này có thể là thay vì một máy chủ có thẻ RAID và NIC tốc độ cao, đây là một mô hình hơn mà BlueField DPU có thể đảm nhận các khối lượng công việc đó mà không nhất thiết phải cần đến máy chủ.

Xử lý lưu trữ NVIDIA BlueField 3 DPU HC33
Xử lý lưu trữ NVIDIA BlueField 3 DPU

Ngăn xếp NVMeoF không quá khó để tăng tốc. Các SmartNIC đời đầu có công suất rất thấp có thể chạy điều này mà không gặp sự cố. Tuy nhiên, ý tưởng là ngược lại. SSD có thể được truy cập qua mạng và tiếp xúc với máy chủ lưu trữ mà không cần phải có SSD cục bộ. Intel đã nói về các máy chủ không ổ đĩa với Mount Evans và NVIDIA cho thấy trường hợp sử dụng này với khả năng tăng tốc phần cứng.

HC33 NVIDIA BlueField 3 DPU Hiệu suất NVMeoF
NVIDIA BlueField 3 DPU với Hiệu suất NVMeoF

NVIDIA cũng có thể giảm tải một số chức năng HPC. Cuối cùng điều này sẽ đến là các GPU được gắn bằng vải như Grace . Trong khi đó, BlueField có thể hoạt động như Ethernet hoặc Infiniband.

HC33 NVIDIA BlueField 3 DPU Siêu máy tính gốc đám mây
 NVIDIA BlueField 3 DPU Siêu máy tính gốc đám mây

Đó thực sự là một điểm mà nhiều người không nhận ra với BlueField-2, NIC mà chúng tôi có là ConnectX-6 VPI NIC. Do đó, người ta có thể chuyển chúng từ Infiniband sang mạng Ethernet trên các cổng tốc độ cao của chúng.

NVIDIA BlueField 2 DPU Lspci Vvv

Kết luận

Nhìn chung, sẽ rất vui mừng với sự ra mắt của BlueField-3. Sẽ tối ưu hơn nếu NVIDIA chọn sử dụng lõi N2 thay vì A78 cho sản phẩm đó, nhưng NVIDIA đang tìm cách tạo ra những bước nhảy vọt về hiệu suất DPU của mình theo thời gian và nhanh hơn nhiều so với tốc độ đã thấy ở phía máy chủ.

Với các nhà cung cấp lớn như NVIDIA, Intel, Marvell, VMware, Amazon AWS và các hãng khác đều đang đẩy mạnh DPU, đây là một sự chuyển đổi công nghệ đang diễn ra và sẽ trở nên rõ ràng hơn trong thời gian tới. Từ đó, tất cả sẽ mang đến cho bạn một hạ tầng AI Enterprise mạnh mẽ, linh hoạt và hiệu quả nhất với NVIDIA DPU BlueField-3

Liên hệ tác giả