Giới thiệu các nền tảng GPU Server NVIDIA HGX A100 của SuperMicro

Ngay sau sự kiện ra mắt dòng máy chủ DGX A100 của NVIDIA, Supermicro cũng đã công bố loạt máy chủ GPU cho Data Center của mình với hiệu năng dẫn đầu ngành. Đây là các hệ thống đào tạo AI mạnh mẽ nhất với các nền tảng GPU NVIDIA A100 mới ra mắt. Các hệ thống mới này tận dụng công nghệ NVIDIA HGX™ thế hệ thứ 3, cũng như hỗ trợ đầy đủ cho GPU NVIDIA A100™ Tensor Core mới trên các máy chủ GPU của Supermicro với các hệ thống 1U, 2U và 4U dành cho Data Center.

Nền tảng HGX A100 tập hợp toàn bộ sức mạnh của GPU NVIDIA, mạng NVIDIA  NVLink, mạng NVIDIA Mellanox  InfiniBand và ngăn xếp phần mềm NVIDIA AI, HPC được tối ưu hóa hoàn toàn từ NGC để mang lại hiệu suất ứng dụng cao nhất. Với hiệu suất đầu cuối và tính linh hoạt, NVIDIA HGX A100 cho phép các nhà nghiên cứu và nhà khoa học kết hợp mô phỏng, phân tích dữ liệu và AI để thúc đẩy tiến bộ khoa học.

NVIDIA HGX A100 kết hợp GPU NVIDIA A100 Tensor Core với kết nối tốc độ cao để tạo thành máy chủ mạnh nhất thế giới. Với GPU A100 80GB, một HGX A100 duy nhất có bộ nhớ GPU lên đến 1,3 terabyte (TB) và băng thông bộ nhớ hơn 2 terabyte mỗi giây (TB / s), mang lại khả năng tăng tốc chưa từng có. HGX A100 mang đến tốc độ AI lên đến 20 lần so với các thế hệ trước với Tensor Float 32 (TF32) và tăng tốc 2,5 lần HPC với FP64. Được thử nghiệm đầy đủ và dễ dàng triển khai, HGX A100 tích hợp vào các máy chủ của đối tác để cung cấp hiệu suất được đảm bảo. NVIDIA HGX A100 với 16 GPU mang lại 10 petaFLOPS đáng kinh ngạc, tạo thành nền tảng máy chủ mở rộng quy mô được tăng tốc mạnh mẽ nhất thế giới dành cho AI và HPC.

NVIDIA HGX A100 với GPU A100 Tensor Core mang đến bước nhảy vọt tiếp theo trong nền tảng trung tâm dữ liệu tăng tốc, cung cấp khả năng tăng tốc chưa từng có ở mọi quy mô và cho phép các nhà đổi mới thực hiện công việc trong đời của họ. Và NVIDIA HGX A100 có 2 Platform chính là HGX A100 4-GPU và HGX A100 8-GPU để linh hoạt trong tùy chọn và phù hợp với nhiều yêu cầu sử dụng các các hệ thống về AI và HPC hiện nay

HGX A100 4-GPU được kết nối với NVLink để tăng tốc cho mục đích chung 

Trong khi HGX A100 8-GPU với NVSwitch cung cấp hiệu suất nhanh nhất, có những tình huống ứng dụng trong đó nút máy chủ HGX A100 4-GPU là tối ưu. Ví dụ: bạn có thể gặp các trường hợp sau:

• Các khối lượng công việc mục tiêu, chẳng hạn như các ứng dụng khoa học nhất định, thích nhiều dung lượng CPU hơn để phù hợp với GPU A100 nhanh. Bốn GPU A100 cho hai CPU là một tỷ lệ cân bằng hơn.
• Một số trung tâm dữ liệu có nguồn điện tủ rack hạn chế do hạn chế về cơ sở hạ tầng. Nền tảng số lượng GPU thấp hơn với công suất máy chủ thấp hơn được ưu tiên.
• Một số quản trị viên trang web muốn phân bổ tài nguyên cho người dùng theo mức độ chi tiết của nút (với tối thiểu 1 nút) để đơn giản hóa. Một nút HGX A100 4-GPU cho phép độ chi tiết tốt hơn và giúp hỗ trợ nhiều người dùng hơn.
• Bốn GPU A100 trên bo mạch chủ GPU được kết nối trực tiếp với NVLink, cho phép kết nối đầy đủ. Mọi GPU A100 đều có thể truy cập bất kỳ bộ nhớ nào của GPU A100 khác bằng cổng NVLink tốc độ cao. Băng thông ngang hàng A100 đến A100 là 200 GB / s hai chiều, nhanh hơn 3 lần so với bus PCIe Gen4 x16 nhanh nhất.

  

  Kết hợp nền tảng máy chủ HGX A100 4-GPU với nhau

  Để mang lại khả năng tăng tốc hiệu quả nhất, chúng tôi khuyên bạn nên xem xét thiết kế hệ thống sau:

  • Sử dụng một CPU có số lượng lõi cao, đơn nếu khối lượng công việc không yêu cầu thêm dung lượng CPU. Điều này làm giảm BOM hệ thống và công suất và đơn giản hóa việc lập lịch trình.
  • Giải phóng công tắc PCIe, Kết nối trực tiếp từ CPU đến GPU A100 để tiết kiệm BOM hệ thống và năng lượng.
  • Trang bị cho nút một hoặc hai NIC và NVMe 200-Gb / s để đáp ứng nhiều trường hợp sử dụng khác nhau. Mellanox ConnectX-6 200Gb / s NIC là lựa chọn tốt nhất.
  • Sử dụng bộ nhớ GPUDirect Storage , giúp giảm độ trễ đọc / ghi, giảm chi phí CPU và cho phép hiệu suất cao hơn.

  

Kết luận

Hệ thống Supermicro với NVIDIA HGX A100 cung cấp một bộ giải pháp linh hoạt để hỗ trợ GPU NVIDIA NGC và NVIDIA A100, cho phép phát triển và phân phối AI để chạy các mô hình AI nhỏ và lớn. Sử dụng GPU NVIDIA A100 có hiệu suất cao nhất, các nhà phát triển giảm thiểu thời gian quý báu để chạy các mô hình AI của họ, cung cấp các tính năng AI nhanh chóng và hiệu quả về chi phí vào các sản phẩm và dịch vụ mới và hiện có.

NVIDIA đang hợp tác chặt chẽ với Supermicro để đưa nền tảng máy chủ HGX A100 lên đám mây để linh hoạt hơn trong việc cung cấp nền tảng HGX A100 này đến với khách hàng và họ mong muốn đưa công cụ máy tính mạnh mẽ nhất này vào tay bạn, giúp bạn giải quyết những thách thức cấp bách nhất trên thế giới trong kinh doanh và nghiên cứu nhanh nhất và hiệu quả nhất.

GPU Server NVIDIA HGX A100 của Supermicro

	Máy Chủ GPU SuperServer AS -2124GQ-NART	Máy Chủ GPU SuperServer SYS-420GP-TNAR	Máy Chủ GPU SuperServer AS-4124GO-NART
Đơn giá	0 VNĐ	0 VNĐ	289.740.000 VNĐ
Mã hàng	A+ Server 2124GQ-NART	SuperServer SYS-420GP-TNAR	A+ Server 4124GO-NART
Thương hiệu	Supermicro	Supermicro	Supermicro
Server
CPU Sockets	2 x Socket SP3	2 x Socket P+	2 x Socket SP3
CPU Support	Dual AMD EPYC 7002 Series Processors, TDP up to 280W	Dual 3rd Gen Intel Xeon Scalable processors, TDP up to 270W	Dual AMD EPYC 7002 Series Processors, TDP up to 280W
RAM Support	32 x DIMM slots; Up to 8TB 3DS ECC DDR4-3200MH SDRAM	32 x DIMM slots; Up to 8TB DRAM; Up to 8TB Intel Optane Persistent Memory (up to 12TB with DRAM)	32 x DIMM slots; Up to 8TB 3DS ECC DDR4-3200MH SDRAM
Drive Bays	4 x 2.5" Hot-swap (SAS/SATA/NVMe Hybrid)	6x 2.5 Hot-swap U.2 NVMe 2.5" drive bays	6x 2.5 Hot-swap U.2 NVMe 2.5" drive bays
Form Factor	2U	4U	4U
PCIe	4 x PCI-E Gen 4 x16 (LP), 1 x PCI-E Gen 4 x8 (LP)	10 x PCI-E Gen 4.0 X16 LP	8x PCI-E 4.0 x16 via PCI-E switch; 1x PCI-E 4.0 x 16 LP; 1x PCI-E 4.0 x8 LP
Network Interface	2 x 10GBase-T, 1 x 1Gbe IPMI	Flexible Networking via AIOM,1 dedicated IPMI LAN Port	Flexible Networking via AIOM,1 dedicated IPMI LAN Port
I/O Ports	2 x USB 3.0, 1 x VGA Connector, 1 x COM port, 1 x TPM 2.0	2 x USB 3.0, 1 x VGA Connector, 1 x COM port	2 x USB 3.0, 1 x VGA Connector, 1 x COM port
Power Supply	2200W	2200W	2200W
Redundant Power	Yes	Yes	Yes
GPU Support	Up to 4 A100 SMX4	Up to 8x A100 SMX4	Up to 8x A100 SMX4
NVMe	Yes	Yes	Yes
System Fan	4 x Hot-swap heavy duty fans	4 x heavy duty fans with optimal fan speed control	4 x Hot-swap 11.5K RPM heavy duty fans

Supermicro là nhà sản xuất toàn cầu về giải pháp máy chủ hiệu suất cao, là nhà cung cấp hàng đầu các giải pháp điện toán xanh toàn diện cho HPC, Data Center, Cloud Computing, Enterprise IT, Hadoop / Big Data và Hệ thống nhúng trên toàn thế giới.

Với kinh nghiệm làm nhà phân phối chính thức máy chủ Supermicro từ năm 2005, Nhất Tiến Chung (NTC) tiên phong đem đến các giải pháp hạ tầng CNTT dựa trên danh mục phần cứng đa dạng và tối ưu chi phí đầu tư nhất từ Supermicro. Các máy chủ GPU và máy chủ lưu trữ hiệu năng cao chuyên dụng cho AI, Deep Learning, cấu hình tùy biến theo nhu cầu, được nhiều đối tác lựa chọn cho dự án của mình. Vui lòng liên hệ để được tư vấn giải pháp, hoàn toàn miễn phí.

• Tôi có cần CPU kép không?
• NVIDIA HGX AI Supercomputer: Nền tảng điện toán AI hàng đầu thế giới
• NVIDIA SuperPOD DGX GB200: Kỷ nguyên của AI nghìn tỷ tham số
• Nền tảng NVIDIA Blackwell: Tạo nên kỷ nguyên điện toán mới
• NVIDIA DGX B200: Nền tảng AI thống nhất cho Training, Fine-tuning và Inference AI
• NVIDIA GB200 NVL72: Tối đa hóa đào tạo và suy luận LLM với hàng nghìn tỷ tham số

Nguyễn Đức Thái