Bàn về GPU cho Deep Learning - RTX 3090, RTX 3080 và RTX 3070 - Blog

Nếu bạn đang nghĩ đến việc xây dựng máy trạm trang bị dòng GPU RTX 30XX cho riêng mình, hãy đọc tiếp. Trong bài đăng này, chúng tôi bàn về kích thước, sức mạnh, khả năng làm mát và hiệu năng của những GPU mới này. Nhưng trước tiên, chúng tôi sẽ trả lời câu hỏi phổ biến nhất:

Tôi có thể lắp được bao nhiêu card GPU RTX 30XX vào máy trạm của mình?

Máy trạm của bạn không được vượt quá:

2x RTX 3090 – có thể đến 3x với bộ làm mát bằng chất lỏng / bộ mở rộng PCIe*; 4x không được khuyến khích vì nó sẽ yêu cầu hai PSU được cắm vào các board riêng biệt hoặc trang bị thêm thiết kế nguồn riêng của bạn.
2x RTX 3080 – 3x có thể sẽ yêu cầu làm mát bằng chất lỏng / bộ mở rộng PCIe * để tránh điều tiết; 4x không được khuyến khích vì nó sẽ yêu cầu hai PSU được cắm vào các mạch riêng biệt hoặc trang bị thêm thiết lập điện của bạn.
4x RTX 3070 – điều này có thể yêu cầu card phiên bản blower.

* Bộ mở rộng PCIe gây ra các vấn đề về cấu trúc và không nên sử dụng nếu bạn định di chuyển (đặc biệt là vận chuyển đi xa) máy trạm.

Các GPU này lớn đến mức nào?

RTX 3090 – 3 khe PCIe, dài 313mm
RTX 3080 – 2x khe PCIe *, dài 266mm
RTX 3070 – 2x khe PCIe *, dài 242mm

Kích thước của RTX 3090 có vẻ không chính thống: nó chiếm 3 khe cắm PCIe và chiều dài của nó sẽ khiến nó không phù hợp với nhiều case PC. RTX 3070 và RTX 3080 có kích thước tiêu chuẩn, tương tự như RTX 2080 Ti.

* Các OEM như PNY, ASUS, GIGABYTE và EVGA sẽ phát hành các mẫu GPU dòng 30XX của riêng họ. Một số mẫu RTX 3080 và RTX 3070 sắp ra mắt sẽ chiếm 2,7 khe PCIe.

Các GPU này sử dụng bao nhiêu điện năng?

Các GPU dòng 3000 tiêu thụ nhiều điện năng hơn các thế hệ trước:

RTX 3090 – 350W (nhiều hơn 40% so với RTX 2080 Ti)
RTX 3080 – 320W (nhiều hơn 28% so với RTX 2080 Ti)
RTX 3070 – 220W (88% của RTX 2080 Ti)

Để tham khảo, RTX 2080 Ti tiêu thụ 250W.

Các GPU này có thể làm quá tải mạch của bạn (hoặc làm cháy luôn PSU!)

Mức tiêu thụ điện của máy trạm của bạn không được vượt quá công suất của PSU hoặc các board mà nó được cắm vào.

Các giới hạn của mạch

Các chuẩn ổ cắm thông dụng có thể cung cấp đến 8 ampe ở điện thế 220V.
Bộ luật điện quốc gia quy định rằng tải mạch của thiết bị điện không được vượt quá 80%.
(1), (2), tương đương với mức tải thiết bị tại nhà / văn phòng của ở Việt Nam không được vượt quá 1408W = 8A * 220v * 0,8 hệ số định mức.

Phân tích trên gợi ý ra các giới hạn sau:

3x RTX 3090 / mỗi ổ cắm
3x RTX 3080 / mỗi ổ cắm
5x RTX 3070 / mỗi ổ cắm (mặc dù không có case PC nào có PCIe 4.0 có thể lắp hơn 4x)

Ví dụ, chúng ta hãy xem tại sao một máy trạm với bốn RTX 3090 và một bộ xử lý cao cấp là không thực tế:

4x RTX 3090 = 4 * 350W = 1400W
1x Threadripper 3960X = 280W
1x bo mạch chủ = 80W

GPU + CPU + bo mạch chủ tiêu thụ 1760W, vượt xa giới hạn mạch 1408W.

Hạn chế của PSU

Máy trạm được đánh giá cao nhất trên thị trường cung cấp tối đa 1600W ở điện áp tiêu chuẩn gia đình / văn phòng. Các PSU máy trạm vượt quá khả năng này là không thực tế vì chúng sẽ làm quá tải nhiều bo mạch. Ngay cả khi tại nhà / văn phòng của bạn có mạch điện có cường độ dòng điện cao hơn, chúng tôi khuyên bạn không nên sử dụng các máy trạm vượt quá 1408W. PSU có thể có định mức 1600W, nhưng chúng tôi nhận thấy tỷ lệ PSU bị lỗi cao hơn khi mức tiêu thụ điện của máy trạm đạt đến 1500W.

Có cách giải quyết nào cho những hạn chế về nguồn điện tại nhà / văn phòng không?

Có, mặc dù chúng tôi khuyên bạn không nên:

Xây dựng một PC với hai PSU được cắm vào hai ổ cắm trên các mạch riêng biệt.
Trang bị thêm thiết lập điện của bạn để cung cấp nguồn điện 240V, 3 pha hoặc mạch có amp cao hơn.
Di chuyển máy trạm của bạn đến trung tâm dữ liệu với nguồn điện 3 pha (điện áp cao).

Cảnh báo: Tham khảo ý kiến của thợ điện trước khi sửa đổi thiết lập điện trong nhà hoặc văn phòng của bạn.

Tôi nên làm mát máy trạm của mình như thế nào?

Các đề xuất làm mát của chúng tôi cho các máy trạm GPU 1x, 2x, 3x và 4x:

RTX 3090

1x – Không cần quan tâm.
2x – Sử dụng GPU tiêu chuẩn, không có quạt gió, quạt thùng lớn, tấm chắn khí và có một kênh trống rộng ít nhất 2x khe PCIe giữa các GPU.
3x – Chưa được khuyến khích. Làm mát bằng chất lỏng có thể hoạt động, nhưng điều này cần thử nghiệm.
4x – Không thực tế do các hạn chế về nguồn điện đã đề cập ở trên.

RTX 3080

1x – Không cần quan tâm.
2x – Sử dụng GPU tiêu chuẩn, không có quạt gió, quạt thùng lớn, tấm chắn khí và có một kênh trống rộng ít nhất 2x khe PCIe giữa các GPU.
3x – Chưa được khuyến khích. Làm mát bằng chất lỏng có thể hoạt động, nhưng điều này cần thử nghiệm.
4x – Không thực tế do các hạn chế về nguồn điện đã đề cập ở trên.

RTX 3070

1x – Không cần quan tâm.
2x / 3x – Nếu không sử dụng card phiên bản blower, hãy chừa một kênh trống rộng ít nhất 1x khe PCIe giữa các GPU. Sử dụng loại quạt lớn.
4x – Có thể yêu cầu card phiên bản blower, nhưng điều này cần thử nghiệm.

GPU dạng blower và non-blower (tiêu chuẩn)

Card blower hút không khí từ bên trong và thải ra phía sau thùng máy; điều này trái ngược với các card tiêu chuẩn giúp thoát khí nóng vào vỏ máy. Dưới đây là hình ảnh của hai loại:

Card blower hiện đang phải đối mặt với những thách thức về nhiệt do mức tiêu thụ điện năng cao của dòng 3000. Chúng tôi hoàn toàn trong đợi vào card blower RTX 3070, nhưng không chắc chắn đối với 2 mẫu RTX 3080 và RTX 3090.

Làm mát bằng chất lỏng thì sao?

Làm mát bằng chất lỏng sẽ giảm tiếng ồn và mức nhiệt. Hiện vẫn chưa rõ liệu làm mát bằng chất lỏng có xứng đáng với chi phí, độ phức tạp và tỷ lệ hỏng hóc gia tăng hay không. Chúng tôi sẽ thử nghiệm làm mát bằng chất lỏng trong thời gian tới và cập nhật phần này cho phù hợp.

GPU sẽ thật sự tăng tốc?

Khi nhiệt độ của GPU vượt quá ngưỡng được xác định trước, nó sẽ tự động giảm xung nhịp (điều tiết) để tránh thiệt hại do nhiệt. Downclocking biểu hiện bằng sự chậm lại của thông lượng training. Với các thiết lập đa GPU, nếu việc làm mát không được kiểm soát đúng cách, thì khả năng điều tiết hiệu suất là có thật. Các hãng máy chủ như Supermicro đã thiết kế các mẫu máy trạm, máy chủ GPU chuyên dụng có thể tránh được việc điều tiết, nhưng nếu bạn đang xây dựng cho riêng mình, có thể mất khá nhiều thời gian thử nghiệm trước khi bạn đạt được hiệu suất như mong muốn.

Hiệu suất & Chi phí

Dòng RTX 3000 mới cung cấp một số cải tiến sẽ dẫn đến những gì chúng tôi mong đợi là một bước nhảy cực kỳ ấn tượng về hiệu suất. Nó được kỳ vọng sẽ còn rõ rệt hơn trên cơ sở chỉ số FLOP / mỗi đô la.

GPU mới chạy mô hình Deep Learning cụ thể của tôi tốt như thế nào?

Chúng tôi chưa có điểm benchmark của bên thứ 3. Tuy nhiên, chúng tôi kỳ vọng sẽ thấy một bước nhảy vọt về hiệu suất cho RTX 3090 so với RTX 2080 Ti vì nó có số lượng lõi CUDA nhiều hơn gấp đôi, số lượng hơn 10.000! Chúng tôi cũng mong đợi những cải thiện về hiệu suất cho RTX 3080 và thậm chí là RTX 3070 so với 2080 Ti.

GPU mới hiệu quả về chi phí như thế nào?

Nhìn bề ngoài, chúng ta nên mong đợi GPU RTX 3000 cực kỳ hiệu quả về chi phí. Ngay cả ở mức 1,499 USD cho phiên bản Founders Edition, 3090 vẫn cung cấp 10496 lõi CUDA khổng lồ và 24GB VRAM. Mặc dù ở cấp thấp, chúng tôi hy vọng 3070 chỉ ở mức 499 USD với 5888 lõi CUDA và 8 GB VRAM sẽ mang lại hiệu suất Deep Learning tương đương với thậm chí cả flagship 2080 Ti trước đó cho nhiều kiểu máy.

PCIe Gen 4.0 trợ giúp như thế nào?

Trong quá trình đào tạo học sâu / deep learning song song, băng thông giữa GPU-GPU và GPU-CPU có thể trở thành một nút thắt cổ chai lớn. PCIe 4.0 tăng gấp đôi thông lượng hai chiều lý thuyết của PCIe 3.0 từ 32 GB/s lên 64 GB/s và trong thực tế trong các bài kiểm tra với các card PCIe Gen 4.0 khác, chúng tôi thấy thông lượng quan sát được từ GPU đến GPU tăng gần 54,2% và 60,7% tăng thông lượng từ CPU đến GPU.

GPU RTX 3000 series mới có hỗ trợ NVLink không?

RTX 3090 là GPU duy nhất hỗ trợ NVLink. Mặc dù chúng tôi chưa có thông số kỹ thuật chính xác, nhưng nếu nó hỗ trợ cùng số lượng kết nối NVLink như GPU A100 PCIe được công bố gần đây, bạn có thể mong đợi 600 GB/s băng thông hai chiều so với 64 GB/s cho PCIe 4.0 giữa các card 3090.

Tuy nhiên, điều quan trọng cần lưu ý là mặc dù sẽ có kết nối cực nhanh giữa chúng nhưng không làm cho GPU trở thành một “siêu GPU”. Bạn vẫn sẽ phải viết các mô hình của mình để hỗ trợ nhiều GPU.

Tóm lại

Điều quan trọng là phải tính đến không gian có sẵn, nguồn điện, khả năng làm mát và hiệu suất tương đối khi quyết định loại thẻ nào sẽ đưa vào máy trạm học sâu tiếp theo của bạn. Những vấn đề lớn nhất bạn sẽ phải đối mặt khi xây dựng máy trạm của mình sẽ là:

Không gian khe cắm PCIe khả dụng khi sử dụng RTX 3090 hoặc 3x RTX 3080
Nguồn điện khả dụng khi sử dụng RTX 3090 hoặc RTX 3080 trong các cấu hình đa GPU
Nhiệt dư tích tụ giữa các card trong cấu hình đa GPU do TDP cao hơn

Chắc chắn bạn có thể tự mình xây dựng một trong những máy trạm này, nhưng nếu bạn muốn tránh rắc rối và cài đặt sẵn nó với các driver và framework bạn cần đến, Nhất Tiến Chung luôn có các giải pháp được hãng (Supermicro) xác nhận, cấu hình và sẵn sàng chuyển giao cho khách hàng để chạy ngay.

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

____
Bài viết liên quan

Vanito Hoang