Edge AI là gì và nó hoạt động như thế nào?

Những bước tiến gần đây về hiệu quả của AI, việc áp dụng các thiết bị IoT và sức mạnh của điện toán biên đã kết hợp với nhau để khai mở sức mạnh của Edge AI (AI tại biên).

Điều này đã mở ra những cơ hội mới cho Edge AI mà trước đây không thể tưởng tượng được – từ việc giúp các bác sĩ X quang xác định các bệnh lý, lái xe trên xa lộ, đến việc giúp chúng ta thụ phấn cho cây trồng.

Vô số nhà phân tích và doanh nghiệp đang triển khai và bàn luận về điện toán biên, bắt nguồn từ những năm 1990, khi mạng lưới phân phối nội dung được tạo ra để phục vụ nội dung web và video từ các máy chủ biên được triển khai gần với người dùng.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Ngày nay, hầu hết mọi doanh nghiệp đều có các chức năng công việc có thể được hưởng lợi từ việc áp dụng Edge AI. Trên thực tế, các ứng dụng biên đang thúc đẩy làn sóng tiếp theo của AI theo nhiều cách giúp cải thiện cuộc sống của chúng ta tại nhà, nơi làm việc, trường học và trong vận tải.

Hãy cùng tìm hiểu thêm về Edge AI là gì, lợi ích và cách thức hoạt động của nó, những ví dụ về các ứng dụng Edge AI và mối quan hệ giữa điện toán biên và điện toán đám mây ngay sau đây.

Edge AI là gì?

Edge AI là việc triển khai các ứng dụng AI trong các thiết bị trên toàn thế giới vật lý. Nó được gọi là “Edge AI” bởi vì tính toán AI được thực hiện gần người dùng tại rìa mạng, gần nơi đặt dữ liệu, thay vì tập trung trong cơ sở điện toán đám mây hoặc trung tâm dữ liệu riêng.

Vì Internet có phạm vi tiếp cận toàn cầu nên ranh giới của mạng có thể bao hàm bất kỳ vị trí nào. Đó có thể là cửa hàng bán lẻ, nhà máy, bệnh viện hoặc các thiết bị xung quanh chúng ta, như đèn giao thông, máy tự động và điện thoại.

Edge AI: Tại sao lại là lúc này?

Các tổ chức từ mọi ngành đang tìm cách tăng cường tự động hóa để cải thiện quy trình, hiệu quả và an toàn.

Để giúp họ, các chương trình máy tính cần nhận ra các mẫu và thực thi các tác vụ lặp đi lặp lại một cách an toàn. Nhưng thế giới là không có cấu trúc và phạm vi của các nhiệm vụ mà con người thực hiện bao gồm vô số những trường hợp không thể mô tả đầy đủ trong các chương trình và các quy tắc.

Những tiến bộ trong Edge AI đã mở ra các cơ hội cho máy móc và thiết bị, dù chúng ở đâu, hoạt động với “trí thông minh” trong nhận thức của con người. Các ứng dụng thông minh hỗ trợ AI học cách thực hiện các tác vụ tương tự trong các trường hợp khác nhau, giống như cuộc sống thực.

Hiệu quả của việc triển khai các mô hình AI tại biên xuất phát từ ba đổi mới gần đây:

Sự trưởng thành của mạng nơ-ron: Mạng nơ-ron và cơ sở hạ tầng AI liên quan cuối cùng đã phát triển đến mức cho phép học máy tổng quát. Các tổ chức đang tìm hiểu cách đào tạo thành công các mô hình AI và triển khai chúng trong sản xuất tại biên.
Những tiến bộ trong cơ sở hạ tầng tính toán: Cần có sức mạnh tính toán phân tán mạnh mẽ để chạy AI tại biên. Những tiến bộ gần đây trong GPU có độ song song cao đã được điều chỉnh để thực thi mạng nơ-ron.
Áp dụng các thiết bị IoT: Việc áp dụng rộng rãi Internet of Things đã thúc đẩy sự bùng nổ của Big Data. Với khả năng nhanh chóng thu thập dữ liệu ở mọi khía cạnh của doanh nghiệp – từ cảm biến công nghiệp, camera thông minh, rô bốt và hơn thế nữa – giờ đây chúng tôi có dữ liệu và thiết bị cần thiết để triển khai các mô hình AI. Hơn nữa, 5G đang cung cấp cho IoT một sự thúc đẩy với kết nối nhanh hơn, ổn định hơn và an toàn hơn.

Tại sao nên triển khai AI ở biên? Lợi ích của nó là gì?

Vì các thuật toán AI có khả năng hiểu ngôn ngữ, cảnh quan, âm thanh, mùi vị, nhiệt độ, khuôn mặt và các dạng thông tin phi cấu trúc tương tự khác, chúng đặc biệt hữu ích ở nơi có sự hiện diện của người dùng cuối với những vấn đề của thế giới thực. Các ứng dụng AI này sẽ không thực tế hoặc thậm chí không thể triển khai trong đám mây tập trung hoặc trung tâm dữ liệu doanh nghiệp do các vấn đề liên quan đến độ trễ, băng thông và quyền riêng tư.

Các lợi ích của Edge AI bao gồm:

Sự thông minh: Các ứng dụng AI mạnh mẽ và linh hoạt hơn các ứng dụng thông thường vì chúng chỉ có thể phản hồi các đầu vào mà lập trình viên đã dự đoán trước. Ngược lại, một mạng nơ-ron AI không được đào tạo cách để trả lời một câu hỏi cụ thể mà là cách trả lời một loại câu hỏi riêng, ngay cả khi bản thân câu hỏi đó là mới. Nếu không có AI, các ứng dụng không thể xử lý các đầu vào vô cùng đa dạng như văn bản, lời nói hoặc video.
Thông tin chi tiết theo thời gian thực: Vì công nghệ biên phân tích dữ liệu cục bộ thay vì trên một đám mây ở xa bị trì hoãn bởi giao tiếp với khoảng cách lớn, nó đáp ứng nhu cầu của người dùng trong thời gian thực.
Giảm chi phí: Bằng cách đưa sức mạnh xử lý đến gần biên hơn, các ứng dụng cần ít băng thông internet hơn, giảm đáng kể chi phí mạng.
Tăng cường quyền riêng tư: AI có thể phân tích thông tin trong thế giới thực mà không cần để lộ thông tin đó cho con người, giúp tăng đáng kể quyền riêng tư cho bất kỳ ai có ngoại hình, giọng nói, hình ảnh y tế hoặc bất kỳ thông tin cá nhân nào khác cần được phân tích. Edge AI nâng cao hơn nữa quyền riêng tư bằng cách chứa dữ liệu đó cục bộ, chỉ tải các bản phân tích và thông tin chi tiết lên đám mây. Ngay cả khi một số dữ liệu được tải lên cho mục đích đào tạo, nó có thể được ẩn danh để bảo vệ danh tính người dùng. Bằng cách bảo vệ quyền riêng tư, Edge AI đơn giản hóa các thách thức liên quan đến việc tuân thủ quy định về dữ liệu.
Tính khả dụng cao: Khả năng phi tập trung và ngoại tuyến giúp Edge AI mạnh mẽ hơn vì không cần truy cập internet để xử lý dữ liệu. Điều này dẫn đến tính khả dụng và độ tin cậy cao hơn cho các ứng dụng AI cấp sản xuất, quan trọng.
Cải tiến liên tục: Các mô hình AI ngày càng phát triển chính xác khi chúng được đào tạo trên nhiều dữ liệu hơn. Khi một ứng dụng Edge AI đối mặt với dữ liệu mà nó không thể xử lý chính xác hoặc tự tin, nó thường tải chúng lên để AI có thể đào tạo lại và học hỏi từ nó. Vì vậy, một mô hình được sản xuất ở biên càng lâu thì mô hình đó càng chính xác.

Công nghệ Edge AI hoạt động như thế nào?

Vòng đời của một ứng dụng Edge AI

Để máy móc có thể nhìn, thực hiện phát hiện vật thể, lái xe ô tô, hiểu giọng nói, nói, đi bộ hoặc mô phỏng các kỹ năng của con người, chúng cần tái tạo trí thông minh của con người về mặt chức năng.

AI sử dụng một cấu trúc dữ liệu được gọi là Deep Neural Network (mạng thần kinh sâu) để tái tạo nhận thức của con người. Các DNN này được huấn luyện để trả lời các loại câu hỏi cụ thể bằng cách được cho xem nhiều ví dụ về loại câu hỏi đó cùng với các câu trả lời đúng.

Quá trình đào tạo này, được gọi là “Deep Learning”, thường chạy trong một trung tâm dữ liệu hoặc đám mây do lượng dữ liệu lớn cần thiết để đào tạo một mô hình chính xác và cần các nhà khoa học dữ liệu cộng tác để định cấu hình mô hình. Sau khi đào tạo, mô hình tốt nghiệp để trở thành một “công cụ suy luận” có thể trả lời các câu hỏi trong thế giới thực.

Trong triển khai AI biên, công cụ suy luận chạy trên một số loại máy tính hoặc thiết bị ở các vị trí xa như nhà máy, bệnh viện, ô tô, vệ tinh và nhà ở. Khi AI gặp sự cố, dữ liệu rắc rối thường được tải lên đám mây để đào tạo thêm mô hình AI ban đầu, tại một số điểm chúng sẽ thay thế công cụ suy luận ở biên. Vòng phản hồi này đóng một vai trò quan trọng trong việc thúc đẩy hiệu suất của mô hình; một khi các mô hình AI biên được triển khai, chúng sẽ ngày càng thông minh hơn.

Ví dụ về các trường hợp sử dụng Edge AI là gì?

AI là lực lượng công nghệ mạnh mẽ nhất trong thời đại của chúng ta. Chúng ta đang ở thời điểm mà AI đang cách mạng hóa các ngành công nghiệp lớn nhất thế giới.

Trong lĩnh vực sản xuất, chăm sóc sức khỏe, dịch vụ tài chính, giao thông vận tải, năng lượng và hơn thế nữa, Edge AI đang thúc đẩy những kết quả kinh doanh mới trong mọi lĩnh vực, bao gồm:

Dự báo thông minh trong năng lượng: Đối với các ngành quan trọng như năng lượng, trong đó nguồn cung cấp không liên tục có thể đe dọa sức khỏe và phúc lợi của dân cư, dự báo thông minh là chìa khóa quan trọng. Các mô hình Edge AI giúp kết hợp dữ liệu lịch sử, kiểu thời tiết, sức khỏe và các thông tin khác để tạo ra các mô phỏng phức tạp nhằm cung cấp hiệu quả hơn cho việc tạo, phân phối và quản lý các nguồn năng lượng cho khách hàng.
Bảo trì dự đoán trong sản xuất : Dữ liệu cảm biến có thể được sử dụng để phát hiện sớm các điểm bất thường và dự đoán khi nào máy móc bị lỗi. Các cảm biến trên thiết bị quét tìm lỗi và quản lý cảnh báo nếu máy móc cần sửa chữa để các vấn đề có thể được giải quyết sớm, tránh downtime tốn kém.
Các thiết bị được hỗ trợ bởi AI trong chăm sóc sức khỏe: Các thiết bị y tế hiện đại tại biên đang dần trở được hỗ trợ bởi AI với các thiết bị sử dụng truyền phát video phẫu thuật có độ trễ cực thấp để cho phép thực hiện các ca phẫu thuật phức tạp và chi tiết theo nhu cầu.
Trợ lý ảo thông minh trong bán lẻ: Các nhà bán lẻ đang tìm cách cải thiện trải nghiệm khách hàng kỹ thuật số bằng cách giới thiệu tính năng đặt hàng bằng giọng nói để thay thế các tìm kiếm dựa trên văn bản với lệnh thoại. Với đặt hàng bằng giọng nói, người mua hàng có thể dễ dàng tìm kiếm mặt hàng, hỏi thông tin sản phẩm và đặt hàng trực tuyến sử dụng loa thông minh hoặc các thiết bị di động thông minh khác.

Điện toán đám mây đóng vai trò gì trong điện toán biên?

Các ứng dụng AI có thể chạy trong một trung tâm dữ liệu như trong các public cloud hoặc ở rìa mạng, gần người dùng. Điện toán đám mây và điện toán biên đều mang lại những lợi ích có thể được kết hợp khi triển khai AI tại biên.

Đám mây cung cấp các lợi ích liên quan đến chi phí cơ sở hạ tầng, khả năng mở rộng, hiệu suất sử dụng cao, khả năng phục hồi sau sự cố máy chủ và cộng tác. Điện toán biên cung cấp thời gian phản hồi nhanh hơn, chi phí băng thông thấp hơn và khả năng phục hồi sau sự cố mạng.

Có một số cách mà điện toán đám mây có thể hỗ trợ triển khai Edge AI:

Đám mây có thể chạy mô hình trong suốt thời gian đào tạo của nó.
Đám mây tiếp tục chạy mô hình khi nó được đào tạo lại với dữ liệu đến từ biên.
Đám mây có thể chạy các công cụ suy luận AI để bổ sung cho các mô hình tại nơi đặt khi sức mạnh tính toán cao là quan trọng hơn thời gian phản hồi. Ví dụ: một trợ lý giọng nói có thể trả lời tên của nó, nhưng lại gửi các yêu cầu phức tạp trở lại đám mây để phân tích cú pháp.
Đám mây cung cấp các phiên bản mới nhất của mô hình và ứng dụng AI.
Edge AI giống nhau thường chạy trên một nhóm các thiết bị tại chỗ đặt còn phần mềm thì trên đám mây.

Tìm hiểu thêm về các phương pháp hay nhất cho kiến trúc biên kết hợp.

Tương lai của Edge AI

Nhờ vào sự trưởng thành thương mại của mạng nơ-ron, sự gia tăng của các thiết bị IoT, những tiến bộ trong tính toán song song và 5G, hiện đã có cơ sở hạ tầng mạnh mẽ cho việc học máy tổng quát. Điều này cho phép các doanh nghiệp tận dụng cơ hội to lớn để đưa AI đến các địa điểm kinh doanh của họ và hành động dựa trên thông tin chi tiết theo thời gian thực, đồng thời giảm chi phí và tăng quyền riêng tư.

Chúng ta mới chỉ ở những giai đoạn đầu của Edge AI và những ứng dụng khả thi dường như là vô tận.

Tìm hiểu cách tổ chức của bạn có thể triển khai Edge AI, tham khảo những cân nhắc hàng đầu để triển khai AI tại biên.

Theo NVIDIA

▪ Morpheus Data – Giải pháp quản trị đa đám mây thay thế cho VMWare VRA

____
Bài viết liên quan