NCCL

NCCL – NVIDIA Collective Communications Library: Thư viện NVIDIA Collective Communication (NCCL) triển khai các giao tiếp multi-GPU và multi-cloud được tối ưu hóa cho GPU NVIDIA. NCCL cung cấp các routines như all-gather, all-reduce, scatter, reduce, broadcast, được tối ưu hóa để đạt băng thông cao qua kết nối tốc độ cao PCIe và NVLink.

Liên hệ tác giả