Fast.ai, một tổ chức cung cấp các khóa học miễn phí về học sâu, tuyên bố một kỷ lục mới về tốc độ để đào tạo một cơ sở dữ liệu hình ảnh phổ biến bằng cách sử dụng GPU NVidia chạy trên nền tảng hạ tầng public cloud.
Một bộ đôi nhà nghiên cứu đã đào tạo cơ sở dữ liệu ImageNet với độ chính xác 93% trong 18 phút sử dụng 16 cloud instance của Amazon Web Services, mỗi instance có tám GPU Nvidia Tesla V100 Tensor Core. Chạy các thư viện Fast.ai và Pytorch, các nhà nghiên cứu tuyên bố tăng 40% về tốc độ và độ chính xác cho việc đào tạo ImageNet trên nền tảng hạ tầng public cloud. Kỷ lục trước đó được giữ bởi Google trên cụm Tensor Processing Unit Pod.
“Cách tiếp cận của chúng tôi sử dụng cùng một số lượng đơn vị xử lý như với Google benchmark (128) và chi phí khoảng 40 USD để chạy”, Fast.ai tiết lộ. Các nhà nghiên cứu cho biết họ sẽ phát hành phần mềm của họ để đào tạo và giám sát các mô hình phân tán chạy trên đám mây AWS.
Nhóm các nhà nghiên cứu bao gồm một cựu thành viên Fast.ai và một chuyên gia học sâu ở Defense Innovation Unit Experimental – DIUx, một startup của Lầu Năm Góc giúp đem các công nghệ đã thương mại hóa vào phục vụ cho quân đội.
Fast.ai đã phát triển một tổ hợp các công cụ để crop các hình ảnh trong cơ sở dữ liệu, trong khi DIUx cung cấp một framework được gọi là nexus-scheduler được sử dụng để sắp xếp các tiến trình đào tạo và theo dõi kết quả. Framework đã được tinh chỉnh có thể thực thi song song cùng lúc nhiều máy.
Các nhà nghiên cứu cho biết họ rất quan tâm tới một báo cáo gần đây rằng AWS đã có thể giảm thời gian đào tạo trên cơ sở dữ liệu hình ảnh xuống còn 47 phút với độ chính xác tương đương.
Các nỗ lực của Fast.ai sử dụng những gì họ gọi là một “thủ thuật đào tạo mới”.
“Rất nhiều người nhầm tưởng rằng mạng nơ-ron xoắn ốc chỉ có thể làm việc với một kích thước hình ảnh cố định, và đó phải là hình chữ nhật”, Jeremy Howard của Fast.ai giải thích trong một bài đăng trên blog. “Tuy nhiên, hầu hết các thư viện đều hỗ trợ các lớp tổng hợp ‘thích ứng’ hoặc‘ toàn cầu ’, điều này hoàn toàn tránh được giới hạn này”.
Howard tiếp tục: “… trừ khi người dùng của các thư viện này thay thế các lớp đó, chúng bị ràng buộc chỉ với một kích thước và hình dạng (thường là 224 x 224 pixel). Thư viện Fast.ai tự động chuyển đổi các mô hình kích thước cố định thành các mô hình có kích thước động. ”
Các nhà nghiên cứu cho biết việc đào tạo bắt đầu với những hình ảnh nhỏ dần được tăng kích thước khi đào tạo phát triển. Các mô hình ban đầu, không chính xác đã nhanh chóng được dạy để xác định các hình ảnh lớn hơn và lớn hơn đồng thời phát hiện thêm chi tiết và phân biệt hình ảnh. Để tăng tốc đào tạo, họ cũng sử dụng kích thước lô lớn hơn trong các bước đào tạo trung gian để sử dụng bộ nhớ GPU tốt hơn để tránh độ trễ do network.
Trong số các bài học rút ra từ các thí nghiệm của Fast.ai là khẳng định rằng các nhà nghiên cứu học tập sâu không nhất thiết đòi hỏi sức mạnh xử lý lớn để tăng tốc đào tạo. Các nhà nghiên cứu cho rằng sự kết hợp của các kỹ thuật đào tạo mới như các mô hình có kích thước động cùng với việc truy cập đám mây công cộng – public cloud – tới cơ sở hạ tầng GPU theo yêu cầu có thể giúp đơn giản hóa việc học sâu và các nhiệm vụ phát triển AI khác.
“Chắc chắn có rất nhiều dư địa để tăng tốc nhanh hơn”, Howard ở Fast.ai nói.
Bài viết liên quan
- Tôi có cần CPU kép không?
- NVIDIA HGX AI Supercomputer: Nền tảng điện toán AI hàng đầu thế giới
- NVIDIA SuperPOD DGX GB200: Kỷ nguyên của AI nghìn tỷ tham số
- Nền tảng NVIDIA Blackwell: Tạo nên kỷ nguyên điện toán mới
- NVIDIA DGX B200: Nền tảng AI thống nhất cho Training, Fine-tuning và Inference AI
- NVIDIA GB200 NVL72: Tối đa hóa đào tạo và suy luận LLM với hàng nghìn tỷ tham số