Điểm mặt một số thiết bị edge chuyên dụng cho mục đích suy luận AI (inference)

Điện toán biên (Edge computing) là một khái niệm trong lĩnh vực công nghệ thông tin, nó mô tả việc xử lý và lưu trữ dữ liệu và thực hiện các tác vụ trí tuệ nhân tạo (AI) trên các thiết bị tại chỗ, thay vì truyền tải dữ liệu về cloud hoặc data center để xử lý.

Trong kiến trúc edge computing, các thiết bị tại chỗ, gọi là các thiết bị edge hay edge computer, được trang bị phần cứng và phần mềm để thực hiện các tác vụ xử lý dữ liệu, nhận dạng hình ảnh, âm thanh, và thực hiện các tác vụ AI khác ngay tại địa điểm. Các doanh nghiệp có thể sử dụng edge computing để đạt được các lợi ích như tăng tốc độ (giảm độ trễ) xử lý dữ liệu, giảm chi phí lưu trữ và tăng tính sẵn sàng của dịch vụ.Edge Devices for On-device Machine Learning and Computer Vision - viso.ai

Với edge computer nằm ngay tại địa điểm, dữ liệu có thể được xử lý và phân tích nhanh chóng, giúp cho các ứng dụng trí tuệ nhân tạo trở nên hiệu quả và đáp ứng được yêu cầu thời gian thực. Edge computer cũng giúp giảm thiểu tải cho mạng và giảm độ trễ (latency), do dữ liệu không cần phải được truyền đi đến một trung tâm xử lý chính hoặc cloud trước khi được xử lý và trả về kết quả.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Dưới đây là một số máy tính edge hiện có trên thị trường cho mục đích inference:

  1. Nvidia Jetson Nano: Là một trong những sản phẩm của Nvidia, Jetson Nano là một máy tính edge nhỏ gọn và có hiệu suất tính toán cao. Nó được trang bị bộ vi xử lý ARM Cortex-A57 và GPU Nvidia Maxwell, cung cấp hiệu suất xử lý trên cả phần mềm và phần cứng.
  2. Raspberry Pi: Raspberry Pi là một máy tính edge giá rẻ và nhỏ gọn, với nhiều tính năng được tích hợp sẵn và hỗ trợ cho nhiều hệ điều hành khác nhau. Nó được sử dụng rộng rãi cho các ứng dụng IoT và edge computing, bao gồm inference.
  3. Intel Neural Compute Stick: Đây là một USB stick tích hợp một bộ xử lý vision và tính toán nhanh chóng, được thiết kế đặc biệt cho inference và machine learning trên edge device.
  4. Google Coral Edge TPU: Là một module tích hợp chip TPU (Tensor Processing Unit) của Google, Coral Edge TPU được thiết kế để cung cấp hiệu suất tính toán trên edge device, đặc biệt cho inference các mô hình deep learning.
  5. Nvidia Jetson Xavier NX: Là một máy tính edge mạnh mẽ được trang bị bộ vi xử lý Nvidia Volta GPU và hỗ trợ nhiều chuẩn kết nối. Nó được sử dụng rộng rãi cho các ứng dụng nhận dạng hình ảnh, xử lý video và inference trên edge device.
  6. Nvidia Jetson AGX Orin: Đây là một trong những thiết bị edge mới nhất của NVIDIA, hỗ trợ bộ phần mềm nhúng AI hoàn chỉnh nhất dành cho robot, AI thị giác và các ứng dụng biên.

Các máy tính edge này cung cấp tính năng tính toán hiệu suất cao, thường có hỗ trợ các thành phần tăng tốc chuyên dụng (GPU, NPU,…), được đóng gói trong board mạch nhỏ gọn và được thiết kế với tính cơ động được ưu tiên hàng đầu để thực hiện các tác vụ inference và xử lý ngay tại địa điểm.

 

____
Bài viết liên quan

Góp ý / Liên hệ tác giả