Đánh giá hiệu năng GPU NVIDIA Quadro RTX 6000

Để hoàn thiện các bài đánh giá về GPU trong năm 2020 của chúng tôi, chúng tôi có NVIDIA Quadro RTX 6000. Đây là sản phẩm GPU của NVIDIA nằm giữa Quadro RTX 5000 và Quadro RTX 8000. Với giá niêm yết khoảng 4000$, đây không phải là một GPU giá rẻ nhưng nó thường cạnh tranh trong các danh mục mà chi phí license phần mềm cao khi so sánh với chi phí phần cứng. Thêm vào đó, những card này thường lấn sân sang các thị trường khác vì vậy chúng tôi muốn xem xét nó hoạt động như thế nào.

Tổng quan về NVIDIA Quadro RTX 6000

Quadro RTX 6000 là GPU dual-slot với chiều dài 10,5″. Mặt trước có fan làm mát kiểu blower sẽ giúp Quadro RTX 6000 phù hợp với các cấu hình GPU dày đặc.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Mặt trước NVIDIA Quadro RTX 6000

Ở mặt sau của Quadro RTX 6000, chúng ta thấy không có tấm nền để hỗ trợ việc làm mát và bảo vệ mạch. Trên một chiếc card trong tầm giá này, thông thường chúng ta sẽ thấy có tấm nền che.

Mặt sau NVIDIA Quadro RTX 6000

Ở phía cuối của RTX 6000, chúng ta sẽ thấy hai kết nối nguồn, một chân 6-pin và một chân 8-pin. Các kết nối nguồn ở cuối GPU giúp việc lắp đặt trong các máy trạm và máy chủ dễ dàng, gọn gàng hơn. Một điều cần lưu ý ở đây là các GPU này sử dụng đầu vào nguồn của máy tính để bàn, không phải đầu vào nguồn của máy chủ.

Các kết nối nguồn của NVIDIA Quadro RTX 6000

Ở đầu kia, chúng ta thấy có các cổng ra video bao gồm bốn cổng Display Port cho video và một cổng USB Type-C. Nhiều dòng card mới hơn của NVIDIA đã loại bỏ cổng USB Type-C này nhưng nó là đặc điểm chung của thế hệ này.

Các cổng xuất video của NVIDIA Quadro RTX 6000

Chúng tôi từng thấy một biến thể của những chiếc card này thiếu cổng xuất hình, sử dụng nhiều năng lượng trung tâm dữ liệu truyền thống hơn, với tấm nền và trong cấu hình làm mát thụ động như trong bài Đánh giá máy chủ GPU AMD EPYC ASUS ESC4000A-E10 2U. Vì đã có phiên bản làm mát kiểu blower này nên chúng tôi quyết định xem xét phiên bản này thay vì cấu hình 4 GPU đó.

K2L!T_16_K2L!T

ASUS ESC4000A E10 với 2 GPU

Tuy nhiên, sự hiện diện của cấu hình làm mát thụ động RTX 6000 cho các máy chủ và không cần nhiều cổng xuất hình nghĩa là NVIDIA đã nhìn thấy một thị trường vượt xa thị trường máy trạm truyền thống cho các GPU này.

NVIDIA Quadro RTX 6000 Nvidia Smi 4 Cards

Cảm nhận của chúng tôi là những thứ này phổ biến trong các máy chủ, đó là lý do tại sao Thương hiệu NVIDIA Quadro đang bị loại bỏ cho các sản phẩm mới và Thiết kế NVIDIA Quadro RTX A6000 48GB thế hệ mới.

Tiếp theo, chúng ta hãy xem xét các thông số kỹ thuật chính của Quadro RTX 6000 và tiếp tục với bài kiểm tra hiệu suất của chúng tôi.

Thông số kỹ thuật NVIDIA Quadro RTX 6000

Các thông số kỹ thuật của NVIDIA Quadro RTX 6000 sử dụng bộ nhớ 24GB GDDR6 và công suất tiêu thụ tối đa 295W.

Thông số kỹ thuật NVIDIA Quadro RTX 6000

Dưới đây là bảng so sánh giữa các dòng Quadro RTX:

Bản so sánh NVIDIA Quadro RTX 6000 với các dòng Quadro RTX khác

Câu hỏi lớn là GPU này hoạt động như thế nào? Để biết câu trả lời, chúng ta sẽ cùng chuyển đến với các thử nghiệm.

Thử nghiệm NVIDIA Quadro RTX 6000

Đây là cấu hình thử nghiệm của chúng tôi:

Bo mạch chủ: ASUS ROG Zenith II Extreme
CPU: AMD Threadripper 3960X (24 lõi / 48 luồng)
GPU: NVIDIA GeForce RTX 3090
Cooling: NZXT Kraken X62
RAM: 4x Corsair Dominator Platinum RGB 3600 MHz 16GB (Tổng cộng 64GB)
SSD: Sabrent Rocket 4.0 NVMe PCIe Gen4 x4 M.2
PSU: EVGA Supernova 1600 T2
OS: Windows 10 Pro

Đây là ảnh chụp GPU-Z của NVIDIA Quadro RTX 6000:

NVIDIA Quadro RTX 6000 GPUz

GPU-Z hiển thị số liệu thống kê chính thử nghiệm Quadro RTX 6000 của chúng tôi. GPU có tốc độ 1440 MHz và có thể tăng lên đến 11770 MHz. Pixel Fillrate chạy ở tốc độ 169,9 GPixels/s và Texture Fillrate là 509,8 GTexel/s, trong khi bộ nhớ chạy ở tốc độ 1750 MHz.

Hãy cùng chúng tôi bắt đầu thử nghiệm với các điểm benchmark liên quan đến tính toán.

Điểm benchmark liên quan đến tính toán của NVIDIA Quadro RTX 6000

Chúng tôi sẽ so sánh Quadro RTX 6000 với bộ dữ liệu đang phát triển của chúng tôi.

Geekbench 4

Geekbench 4 đo hiệu suất tính toán của GPU bằng cách sử dụng xử lý hình ảnh cho trực quan máy tính để đánh số.

NVIDIA Quadro RTX 6000 Geekbench

Trong benchmark tính toán đầu tiên của chúng tôi cho NVIDIA Quadro RTX 6000, chúng tôi có thể thấy sức mạnh xử lý thô của OpenCL và CUDA đang hoạt động. Quadro RTX 6000 chạy gần với Quadro RTX 8000, với sự khác biệt chính giữa cả hai là Quadro RTX 8000 hỗ trợ lắp đặt bộ nhớ đến 48GB. Chúng tôi cũng sẽ nhận thấy TITAN RTX sẽ có lợi thế hơn Quadro RTX 6000 với giải pháp làm mát dual-fan tiên tiến hơn.

LuxMark

LuxMark là một công cụ đo benchmark OpenCL dựa trên LuxRender.

NVIDIA Quadro RTX 6000 LuxMark

Trong LuxMark, Quadro RTX 6000 có benchmark gần với Titan RTX và Quadro RTX 8000. Trong LuxMark, Quadro RTX 6000 chỉ thấp hơn một chút so với RTX 2080 Ti.

AIDA64 GPGPU

Các benchmark này được thiết kế để đo hiệu suất tính toán GPGPU thông qua các khối lượng công việc OpenCL khác nhau.

FLOPS chính xác đơn – Single Precision: Đo hiệu suất MAD (Multiply-Addition) cổ điển của GPU, còn được gọi là FLOPS (Floating-Point Operations Per Second), với dữ liệu dấu chấm động chính xác đơn (32 bit, “float”).
FLOPS chính xác kép – Double Precision: Đo hiệu suất MAD (Multiply-Addition) cổ điển của GPU, còn được gọi là FLOPS (Floating-Point Operations Per Second), với dữ liệu dấu chấm động chính xác kép (64-bit, “double”).

NVIDIA Quadro RTX 6000 AIDA64 GPGPU 1

Bộ benchmark tiếp theo từ AIDA64 là:

IOPS số nguyên 24 bit: Đo hiệu suất MAD (Multiply-Addition) cổ điển của GPU, còn được gọi là IOPS (Phép toán số nguyên trên giây), với dữ liệu số nguyên 24 bit (“int24”). Kiểu dữ liệu cụ thể này được định nghĩa trong OpenCL trên cơ sở nhiều GPU có khả năng thực thi các phép tính int24 thông qua các đơn vị dấu chấm động của chúng.
IOPS số nguyên 32 bit: Đo hiệu suất MAD (Multiply-Addition) cổ điển của GPU, còn được gọi là IOPS (Phép toán số nguyên trên giây), với dữ liệu số nguyên 32 bit (“int”).
IOPS số nguyên 64-bit: Đo hiệu suất MAD (Multiply-Addition) cổ điển của GPU, còn được gọi là IOPS (Phép toán số nguyên trên giây), với dữ liệu số nguyên 64-bit (“long”). Hầu hết các GPU không có tài nguyên thực thi dành riêng cho các phép toán số nguyên 64 bit, vì vậy, thay vào đó chúng mô phỏng các phép toán số nguyên 64 bit thông qua các đơn vị thực thi số nguyên 32 bit hiện có.

NVIDIA Quadro RTX 6000 AIDA64 GPGPU 2

Điểm đáng chú ý ở đây là Quadro RTX 6000 rơi vào nhóm điểm số của RTX 2080 Ti và rất gần với Quadro RTX 8000.

Hashcat64

hashcat64 là một điểm chuẩn bẻ khóa mật khẩu có thể chạy một số lượng ấn tượng các thuật toán khác nhau. Chúng tôi đã sử dụng phiên bản windows và một lệnh đơn giản của hashcat64 -b.

NVIDIA Quadro RTX 6000 Hashcat

Hashcat có thể đặt một tải nặng lên GPU và ở đây chúng tôi thấy các card đồ họa dual-fan có lợi thế trong kết quả. Tuy nhiên, với hệ thống làm mát được sử dụng trên Quadro RTX 6000, tải nhiệt Hashcat được xử lý dễ dàng.

Điểm benchmark liên quan đến Render của NVIDIA Quadro RTX 6000

Tiếp theo, chúng tôi muốn hiểu về hiệu suất render của NVIDIA Quadro RTX 6000.

Arion v2.5

Arion Benchmark là một điểm chuẩn render độc lập dựa trên phần mềm render thương mại có sẵn Arion từ RandomControl. Điểm chuẩn dựa vào phần mềm được tăng tốc bởi GPU sử dụng NVIDIA CUDA. Tuy nhiên, nó độc đáo ở chỗ có thể chạy trên cả GPU và CPU NVIDIA.

NVIDIA Quadro RTX 6000 Arion

Giống như bộ điểm chuẩn đầu tiên của chúng tôi, Quadro RTX 6000 cho thấy kết quả ấn tượng của single GPU và một lần nữa nó rơi vào nhóm điểm của RTX 2080 Ti.

MAXON Cinema4D 3D

ProRender là trình render GPU dựa trên OpenCL có sẵn trong phần mềm hoạt hình Cinema4D 3D của MAXON. Phiên bản dùng thử 42 ngày đầy đủ chức năng có sẵn để tải xuống từ trang web MAXON tại đây. Lưu ý: Ngay cả sau khi hết hạn, bản dùng thử vẫn có thể được sử dụng để đo lường thời gian render.

NVIDIA Quadro RTX 6000 Cinema4D

Với sự chênh lệch vài giây, NVIDIA Quadro RTX 6000 cho thấy điểm số đáng nể. Thời gian ngắn hơn sẽ hữu ích hơn.

OctaneRender 4

OctaneRender từ Otoy là một trình render GPU không thiên vị sử dụng CUDA API. Bản phát hành mới nhất, OctaneRender 4, giới thiệu hỗ trợ cho hình học ngoài lõi. Octane có sẵn dưới dạng ứng dụng render độc lập và phiên bản demo có sẵn để tải xuống từ trang web OTOY tại đây.

NVIDIA Quadro RTX 6000 OctaneRender

OctaneRender tạo ra một tải rất lớn trên GPU. Biểu đồ cho thấy Quadro RTX 6000 hoạt động như chúng tôi đã mong đợi.

Redshift

Redshift là một trình render được tăng tốc GPU với chất lượng sản xuất. Bạn có thể tìm thấy phiên bản Demo của benchmark này tại đây .

NVIDIA Quadro RTX 6000 RedShift

Với Redshift, Quadro RTX 6000 lại rơi vào nhóm điểm RTX 2080 Ti.

Tiếp theo, chúng tôi sẽ có kết quả 3DMark trước khi chuyển sang tiêu thụ điện năng, nhiệt và những suy nghĩ cuối cùng của chúng tôi.

Thử nghiệm NVIDIA Quadro RTX 6000 3DMark Suite

Ở đây chúng tôi sẽ chạy Quadro RTX 6000 thông qua các điểm chuẩn liên quan đến đồ họa.

NVIDIA Quadro RTX 6000 Port Royal

Đây là kết quả của 3DMark suite. Chúng ta sẽ thảo luận về chúng sau các biểu đồ.

NVIDIA Quadro RTX 6000 Time Spy

NVIDIA Quadro RTX 6000 Fire Strike

Có thể thấy rõ ràng rằng một Quadro RTX 6000 đơn lẻ cũng có thể mang lại một hiệu suất đáng kinh ngạc.

Thử nghiệm NVIDIA Quadro RTX 6000 Unigine

NVIDIA Quadro RTX 6000 Unigine Superposition

NVIDIA Quadro RTX 6000 Unigine Heaven

NVIDIA Quadro RTX 6000 Unigine Valley

Các điểm chuẩn Unigine cũ hơn và thường không hoạt động tốt với các card đồ họa hiện tại. Chúng ta có thể thấy điều này trong biểu đồ Unigine Valley.

Tiếp theo, chúng ta sẽ xem xét NVIDIA Quadro RTX 6000 với một vài điểm chuẩn về Deep Learning.

Điểm benchmark Deep Learning của NVIDIA Quadro RTX 6000

Trước khi bắt đầu, chúng tôi muốn lưu ý rằng các NVIDIA Docker Container mới nhất chỉ vừa ra cách đây vài ngày và đã có những thay đổi về các điểm chuẩn. Chúng tôi hy vọng sẽ có thêm nhiều thay đổi về Docker Container, vì vậy vui lòng sử dụng các con số của chúng tôi sẽ trình bày như là một sự tham khảo.

ResNet-50 Inferencing trong TensorRT sử dụng Tensor Cores

ImageNet là một cơ sở dữ liệu phân loại hình ảnh ra mắt năm 2007 được thiết kế để sử dụng trong nghiên cứu nhận dạng đối tượng trực quan. Được tổ chức bởi phân cấp WordNet, hàng trăm ví dụ hình ảnh đại diện cho mỗi node (hoặc loại danh từ cụ thể).

Trong các điểm chuẩn của chúng tôi cho Suy luận, Mô hình ResNet50 được đào tạo trong Caffe sẽ được chạy bằng dòng lệnh như sau.

nvidia-docker run --shm-size=1g --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --rm -v ~/Downloads/models/:/models -w /opt/tensorrt/bin nvcr.io/nvidia/tensorrt:20.11-py3 trtexec --deploy=/models/ResNet-50-deploy.prototxt --model=/models/ResNet-50-model.caffemodel --output=prob --batch=16 --iterations=500 --fp16

Các tùy chọn là:
–deploy: Đường dẫn đến tệp triển khai Caffe (.prototxt) được sử dụng để đào tạo mô hình
–model: Đường dẫn đến mô hình (.caffemodel)
–output: Tên blob đầu ra
–batch: Kích thước batch để sử dụng cho suy luận
–iterations: Số lần lặp để chạy
–int8: Sử dụng độ chính xác INT8
–fp16: Sử dụng độ chính xác FP16 (đối với GPU Volta hoặc Turing), không có thông số kỹ thuật nào bằng FP32

Chúng tôi có thể thay đổi kích thước batch thành 16, 32, 64, 128 và độ chính xác thành INT8, FP16 và FP32.

Các kết quả là Độ trễ suy luận (tính bằng giây).
Nếu chúng tôi lấy kích thước batch chia cho Độ trễ thì sẽ bằng Thông lượng (hình ảnh / giây) mà chúng tôi vẽ trên biểu đồ của mình.

Chúng tôi cũng nhận thấy rằng điểm chuẩn này không sử dụng hai GPU; nó chỉ chạy trên một GPU duy nhất.

Tuy nhiên, bạn có thể chạy các trường hợp khác nhau trên mỗi GPU bằng cách sử dụng các lệnh như:
“NV_GPUS = 0 nvidia-docker run… &
NV_GPUS = 1 nvidia-docker run… &“
Với những lệnh này, người dùng có thể chia tỷ lệ khối lượng công việc trên nhiều GPU.

Ngoài ra, người ta có thể sử dụng lệnh —device = 0,1,2,3,4,… để chọn GPU nào sẽ chạy, sẽ có thêm thông tin về điều này sau.

Chúng tôi bắt đầu với chế độ INT8.

NVIDIA Quadro RTX 6000 ResNet 50 Inferencing INT8 Precision

Sử dụng độ chính xác của INT8 cho đến nay là phương pháp suy luận nhanh nhất nếu có thể, việc chuyển đổi mã sang INT8 sẽ mang lại các lần chạy nhanh hơn. Bộ nhớ đã cài đặt có một trong những tác động đáng kể nhất đến các điểm chuẩn này. Việc suy luận trên các card đồ họa NVIDIA RTX không đánh thuế GPU quá lớn. Tuy nhiên, bộ nhớ bổ sung cho phép kích thước batch lớn hơn.

Chúng ta hãy xem kết quả FP16 và FP32.

NVIDIA Quadro RTX 6000 ResNet 50 Inferencing FP16 Precision

NVIDIA Quadro RTX 6000 ResNet 50 Inferencing FP32 Precision

ResNet-50 Training, sử dụng Tensor Cores

Chúng tôi cũng muốn đào tạo ResNet-50 bằng cách sử dụng Tensorflow. Trong quá trình đào tạo, mạng nơ-ron học các đặc điểm của hình ảnh, (ví dụ: đồ vật, động vật, v.v.) và xác định những đặc điểm nào là quan trọng. Định kỳ (cứ sau 1000 lần lặp), mạng nơ-ron sẽ tự kiểm tra so với tập kiểm tra để xác định mất mát khi đào tạo, điều này ảnh hưởng đến độ chính xác của việc đào tạo mạng. Độ chính xác có thể được tăng lên thông qua việc lặp lại (hoặc chạy số lượng epochs cao hơn.)

Dòng lệnh chúng ta sẽ sử dụng là:

nvidia-docker run --shm-size=1g --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -v ~/Downloads/imagenet12tf:/imagenet --rm -w /workspace/nvidia-examples/cnn/ nvcr.io/nvidia/tensorflow:20.11-tf2-py3 python resnet.py --data_dir=/imagenet --batch_size=128 --iter_unit=batch --num_iter=500 --display_every=20 --precision=fp16

Các tham số cho resnet.py:
–layers: Số lớp mạng nơ-ron sử dụng, ví dụ: 50.
–batch_size hoặc -b: Số lượng hình ảnh mẫu ImageNet sử dụng để huấn luyện mạng mỗi lần lặp. Tăng kích thước lô thường sẽ tăng hiệu suất đào tạo.
–Iter_unit hoặc -u: Chỉ định chạy các batch hoặc epoch.
–Num_iter hoặc -i: Số lô hoặc số lần lặp để chạy, ví dụ: 500.
–display_every: Tần suất hiển thị hiệu suất huấn luyện,ví dụ: cứ 20 batch một lần.
–precision: Chỉ định độ chính xác FP32 hoặc FP16, cũng cho phép tính toán TensorCore cho Volta, Turing và Ampere GPUs.

Trong khi tập lệnh TensorFlow này không thể chỉ định từng GPU để sử dụng, chúng có thể được chỉ định bằng cách:
setting export CUDA_VISIBLE_DEVICES= phân định bởi dấu phẩy (ví dụ: 0,1,2,3) trong Docker container workspace.

Chúng tôi sẽ chạy các kích thước lô là 16, 32, 64, 128 và thay đổi từ FP16 thành FP32.

Một số GPU như RTX 2060, RTX 2070, RTX 2080 và RTX 2080 Ti sẽ không hiển thị một số lần chạy batch vì bộ nhớ hạn chế.

NVIDIA Quadro RTX 6000 ResNet 50 Training FP16 Precision

NVIDIA Quadro RTX 6000 ResNet 50 Training FP32 Precision

Quadro RTX 6000 so sánh tốt với các GPU tương tự như Quadro RTX 8000 và Titan RTX.

Kiểm tra điện năng

Đối với thử nghiệm điện năng của chúng tôi, chúng tôi đã sử dụng AIDA64 để tăng sức ép với Quadro RTX 6000, sau đó là HWiNFO để theo dõi việc sử dụng năng lượng và nhiệt độ.

Tiêu thụ điện của NVIDIA Quadro RTX 6000

Sau thử nghiệm, chúng tôi thấy nó đạt mức 262 Watts khi full tải và 19 Watts khi không tải.

Hiệu suất làm mát

Một lý do chính mà chúng tôi bắt đầu loạt bài này là để trả lời cho câu hỏi về vấn đề làm mát. Bộ làm mát kiểu “lồng sóc” (blower) có các khả năng khác so với một vài dòng card gaming lớn dual hoặc triple-fan.

So sánh nhiệt độ vận hành của NVIDIA Quadro RTX 6000

Nhiệt độ cho Quadro RTX 6000 chạy ở 78 độ C khi full tải, cho thấy giải pháp làm mát mới của NVIDIA hoạt động rất tốt và tạo ra rất ít tiếng ồn. Nhiệt độ khi không hoạt động mà chúng tôi ghi nhận là 32 độ C, đây cũng là mức tuyệt vời cho một GPU có kích thước này.

Kết luận

Sau tất cả các lần chạy đo benchmark này, có một vài chủ đề để nói về Quadro RTX 6000. Đầu tiên, điểm chú ý về dòng card này là có thể xem nó như đối thủ của Titan RTX với bộ làm mát kiểu blower bổ sung hỗ trợ driver được chứng nhận ISV để có một mức giá cao hơn. Điểm chú ý tiếp theo là dung lượng bộ nhớ chỉ bằng một nửa nhưng giá thấp hơn khi cạnh tranh với Quadro RTX 8000. Nếu bạn muốn lắp đặt các GPU vào một máy chủ hoặc máy trạm với số lượng lớn thì bộ làm mát kiểu blower hoạt động tốt và thực tế là có một phiên bản làm mát thụ động (Passive) của dòng card này mà chúng ta đã thấy trong bài đánh giá ASUS ESC4000A-E10 2U AMD EPYC GPU Server với rất nhiều sự linh hoạt trong triển khai.

Cuối cùng, có một câu hỏi lớn là bên cạnh bộ làm mát kiểu blower và các driver được chứng nhận ISV, đối với những người chỉ tìm kiếm bộ nhớ 24GB và hiệu suất tính toán cho 1-2 card mỗi hệ thống, NVIDIA GeForce RTX 3090 chỉ đơn giản là cung cấp nhiều hơn với chi phí thấp hơn nhiều. Các GPU 48GB A6000 mới chỉ bắt đầu xuất xưởng khi chúng tôi đang hoàn thành bài đánh giá này. Có lẽ đó là một dấu hiệu của thời gian mà chúng tôi đang xem xét dòng card này vào cuối chu kỳ. Tuy nhiên, với Titan RTX trước đó, giá cả / hiệu suất bên ngoài lĩnh vực yêu cầu driver Quadro / Enterprise được chứng nhận ISV thì dường như thiếu.

Nếu chúng tôi đã xem xét Quadro RTX 6000 gần thời điểm ra mắt, nó sẽ là một chiếc card tuyệt vời so với thế hệ Pascal. Xem xét vị trí của nó trong thị trường hiện tại, sau khi thế hệ Turing và bây giờ là Ampere đã đến, có vẻ như nó đã mất đi rất nhiều sức hấp dẫn mà nó từng có đối với máy tính để bàn và máy trạm, giả sử người ta không cần những chứng nhận ISV để được hỗ trợ cho các ứng dụng chuyên nghiệp tốn kém. Mặt khác, thực tế là chúng ta thấy mẫu GPU mới NVidia RTX A6000 đã bỏ đi thương hiệu Quadro và chúng ta cũng thấy một phiên bản làm mát thụ động của Quadro RTX 6000 có nghĩa là dường như đã tìm thấy một thị trường khác trong suốt thời gian tồn tại của nó.

Theo Servethehome

→ Xem thêm các dòng GPU khác tại đây.

____
Bài viết liên quan