Inference (suy luận) là workload quan trọng trong các ứng dụng của Trí tuệ Nhân tạo. Inference giúp xử lý các tác vụ phân loại, nhận dạng và dự đoán trong thời gian thực trên dữ liệu đầu vào. Nó là một tập hợp các giải pháp công nghệ phần cứng và phần mềm, bao…
Thẻ: inference
NVIDIA Hopper tiếp tục dẫn đầu hiệu suất Generative AI trong MLPerf
Các bài test tiêu chuẩn ngành cho thấy các hệ thống dựa trên NVIDIA Hopper chạy phần mềm TensorRT-LLM sẽ cung cấp nền tảng mạnh mẽ nhất thế giới đối với Generative AI. NVIDIA đã cung cấp nền tảng nhanh nhất thế giới trong các bài test tiêu chuẩn ngành về khả năng suy luận…
NVIDIA NIM: Vi dịch vụ suy luận tối ưu hóa cho triển khai mô hình AI quy mô lớn
Sự gia tăng trong việc ứng dụng AI tạo sinh (Generative AI) là rất đáng chú ý trong thời gian gần đây. Được kích hoạt bởi sự ra mắt ChatGPT của OpenAI vào năm 2022, công nghệ mới này đã thu hút hơn 100 triệu người dùng trong vòng vài tháng và thúc đẩy các hoạt động phát…
Nền tảng Suy Luận AI của NVIDIA: Sức mạnh mới cho các ứng dụng AI
AI đang ngày càng trở nên quan trọng đối với nhiều lĩnh vực kinh doanh, từ dịch vụ khách hàng cho đến công nghệ tự động hóa. Tuy nhiên, triển khai AI trong các ứng dụng thực tế lại không hề đơn giản. Các vấn đề về hiệu năng, tính tương thích giữa các framework…
Apache MXNet là gì? Nó hoạt động như thế nào?
Apache MXNet là một framework học sâu (DL) linh hoạt và có thể mở rộng, hỗ trợ nhiều mô hình học sâu, ngôn ngữ lập trình và có giao diện phát triển được đánh giá cao về tính dễ sử dụng. Apache MXNet là gì? MXNet là một framework học sâu mã nguồn mở cho phép…
“Siêu chip” NVIDIA Grace Hopper thống lĩnh các bài test benchmark MLPerf về suy luận
Siêu chip NVIDIA GH200, GPU H100, L4 và các module Jetson Orin cho thấy hiệu suất vượt trội khi chạy AI ở môi trường sản xuất, từ đám mây đến rìa mạng. Trong lần kiểm tra đầu tiên trên điểm benchmark chuyên ngành MLPerf, NVIDIA GH200 Grace Hopper Superchip đã chạy tất cả các bài test suy…
Đánh giá GPU NVIDIA L4 24GB – Mẫu GPU suy luận AI đa năng
Ở bài đánh giá này chúng tôi sẽ giới thiệu đến bạn một mẫu GPU thú vị, NVIDIA L4. Mặc dù không phải là GPU mạnh nhất của NVIDIA nhưng L4 sẽ là một chiếc card GPU phổ biến trong thời gian tới. Chúng tôi nghĩ đến điều này vì đây thực sự là một phiên bản…
Sentiment Analysis là gì?
Phân tích cảm nghĩ Phân tích cảm nghĩ (Sentiment Analysis) là hoạt động diễn dịch và phân loại tự động các cảm xúc (tích cực, tiêu cực hoặc trung tính) từ dữ liệu văn bản như các bài đánh giá bằng chữ, các bài đăng trên mạng xã hội. Sentiment Analysis – Phân tích cảm…
Tất cả bạn cần là chỉ một GPU: Đánh giá hiệu suất inference cho Stable Diffusion
Những gì tôi cần để chạy các mô hình text-to-image mới nhất? Liệu có thể dùng các card gaming để thực hiện công việc này? Hay phải cần đến một chiếc GPU A100 cao cấp? Nếu hệ thống chỉ có một CPU thì sao? Đây là những câu hỏi thường xuyên gặp phải khi khách…
Những GPU nào tốt nhất cho suy luận AI?
Không có câu trả lời rạch ròi nào cho việc chọn GPU nào là tốt nhất để suy luận AI (inference), vì các GPU khác nhau có thể có những ưu điểm và nhược điểm khác nhau tùy thuộc vào loại, kích thước và độ phức tạp của mô hình bạn muốn chạy. Tuy nhiên,…