Điện toán Biên thông minh cần hệ thống mạng thông minh hơn

Khi sức mạnh điện toán đang dịch chuyển sang rìa mạng, NVIDIA công bố nền tảng và hệ sinh thái EGX, bao gồm việc chứng nhận nhà cung cấp máy chủ, đối tác đám mây lai và phần mềm GPU Operator mới.

Nhu cầu về điện toán biên (Edge Computing) đang tăng lên nhanh chóng vì mọi người ngày càng có nhu cầu phân tích và sử dụng dữ liệu ở nơi nó được tạo ra thay vì cố gắng gửi dữ liệu trở lại trung tâm dữ liệu. Các ứng dụng mới không thể đợi dữ liệu di chuyển toàn bộ đến một máy chủ tập trung, chờ đợi nó được phân tích, rồi sau đó lại chờ kết quả để gửi trở lại nơi xuất phát. Chúng cần dữ liệu được phân tích NGAY TỨC THÌ, NGAY TẠI ĐÂY! Để đáp ứng nhu cầu này, NVIDIA vừa công bố mở rộng nền tảng và hệ sinh thái EGX của họ , bao gồm chứng nhận nhà cung cấp máy chủ, các đối tác đám mây lai và phần mềm GPU Operator mới cho phép triển khai các máy chủ GPU trên đám mây (cloud-native GPU server). Khi sức mạnh tính toán ngày càng tiến ra xa, chúng tôi nhận thấy rằng điện toán biên thông minh hơn cần kết nối mạng thông minh hơn và do đó, hệ sinh thái EGX sẽ phải bao gồm các giải pháp mạng từ Mellanox.

IoT thúc đẩy nhu cầu về điện toán biên – Được hỗ trợ bởi 5G và AI

Sự phát triển của Internet of Things (IoT), mạng không dây 5G và AI đều đang thúc đẩy sự dịch chuyển của máy tính ra rìa mạng. IoT sẽ dẫn đến xuất hiện nhiều thiết bị hơn – và thông minh hơn – chúng đang tạo ra và tiêu thụ nhiều dữ liệu hơn ngay tại vị trí của chúng, khác xa với các trung tâm dữ liệu truyền thống. Xe tự hành, camera thông minh, ki-ốt bán hàng, thiết bị y tế, cảm biến tòa nhà, máy tính tiền thông minh, thẻ định vị và tất nhiên là điện thoại sẽ sớm tạo ra dữ liệu từ hàng tỷ điểm đầu cuối. Dữ liệu này cần được thu thập, lọc và phân tích, sau đó thường là kết quả chắt lọc được chuyển đến một trung tâm dữ liệu khác hoặc điểm cuối ở một nơi khác. Việc gửi tất cả dữ liệu trở lại trung tâm dữ liệu mà không có bất kỳ xử lý biên nào không chỉ làm tăng quá nhiều độ trễ, mà thường là quá nhiều dữ liệu để truyền qua các kết nối WAN. Đôi khi trung tâm dữ liệu thậm chí không có đủ chỗ để lưu trữ tất cả những gì chưa được chắt lọc.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

5G mang lại băng thông cao hơn và độ trễ thấp hơn, cho phép thu thập dữ liệu nhanh hơn và các ứng dụng mới cho các thiết bị IoT. Dữ liệu trước đây không được thu thập hoặc không thể chia sẻ, hiện đã có sẵn qua mạng. Kết nối không dây nhanh hơn cho phép các ứng dụng mới sử dụng và phản hồi dữ liệu ở rìa mạng, theo thời gian thực, thay vì đợi dữ liệu được lưu trữ tập trung rồi phân tích sau (nếu chúng cần được được phân tích).

AI có nghĩa là thông tin hữu ích hơn có thể được lấy từ tất cả dữ liệu mới, thúc đẩy các quyết định nhanh chóng. Lượng dữ liệu IoT quá lớn không thể phân tích được bởi con người và nó đòi hỏi công nghệ AI để “tách gạo ra khỏi vỏ trấu” (nghĩa là lọc tín hiệu ra khỏi tiếng ồn nhiễu). Quyết định và thông tin chi tiết từ AI sau đó cung cấp nguồn dữ liệu cho các ứng dụng ở cả rìa và trung tâm dữ liệu trung tâm.

Internet of Things (IoT) và ổ đĩa không dây 5G tăng cường triển khai điện toán AI ở vị trí tiên tiến

Hình 1: Internet of Things (IoT) và mạng không dây 5G tăng cường triển khai điện toán AI ở rìa mạng.

NVIDIA EGX cho phép AI ở vùng biên

Nhiều AI workload tại biên – chẳng hạn như nhận dạng hình ảnh, xử lý video và robot – đòi hỏi sức mạnh xử lý song song lớn, một lĩnh vực mà GPU NVIDIA chiếm ưu thế tuyệt đối. Để đáp ứng nhu cầu xử lý AI tiên tiến hơn, NVIDIA đã giới thiệu nền tảng EGX của họ vào tháng 5. Nền tảng EGX hỗ trợ một loạt các máy chủ GPU có khả năng mở rộng cực lớn — từ một hệ thống NVIDIA Jetson Nano cho đến một tủ rack chứa đầy các máy chủ NVIDIA T4 hoặc V100 Tensor Core. Jetson Nano cung cấp lên đến nửa nghìn tỷ hoạt động mỗi giây (1/2 TOPS) trong khi một rack đầy đủ các máy chủ T4 có thể xử lý mười nghìn nghìn tỷ hoạt động mỗi giây (10.000 TOPS).

NVIDIA EGX cũng bao gồm các công cụ dựa trên vùng chứa, trình điều khiển và thư viện NVIDIA CUDA-X để hỗ trợ các ứng dụng AI ở rìa. EGX được hỗ trợ bởi các nhà cung cấp máy chủ lớn và tích hợp với Red Hat OpenShift để cung cấp hệ thống điều phối vùng chứa cấp doanh nghiệp, dựa trên Kubernetes. Tất cả điều này rất quan trọng vì rất nhiều địa điểm điện toán tiên tiến — cửa hàng bán lẻ, bệnh viện, ô tô tự lái, nhà ở, nhà máy, điện thoại di động, v.v. — sẽ được hỗ trợ bởi các doanh nghiệp, chính quyền địa phương và các công ty viễn thông, chứ không phải bởi các nhà siêu cấp.

Hôm nay NVIDIA đã công bố các tính năng mới của EGX và triển khai cho khách hàng, cùng với sự hỗ trợ mạnh mẽ cho các giải pháp đám mây lai. Chương trình chứng nhận máy chủ NGC-Ready đã được mở rộng để bao gồm các bài kiểm tra về bảo mật cạnh và quản lý từ xa, và Nhà điều hành GPU NVIDIA mới giúp đơn giản hóa việc quản lý và vận hành AI trên các thiết bị biên được phân phối rộng rãi.

Hình 2: Nền tảng NVIDIA EGX bao gồm GPU, giao diện CUDA-X, quản lý vùng chứa và các đối tác phần cứng được chứng nhận.

Hình 2: Nền tảng NVIDIA EGX bao gồm GPU, giao diện CUDA-X, quản lý container và các đối tác phần cứng được chứng nhận.

Điện toán biên thông minh hơn cần hệ thống mạng thông minh hơn (Smarter Edge needs Smarter Network)

Nhưng có một lớp công nghệ và đối tác khác cần thiết để làm cho EGX — và trên cùng là AI — thông minh và hiệu quả nhất có thể: hệ thống mạng. Khi lượng sức mạnh xử lý của GPU ở rìa và số lượng container tăng lên, lượng lưu lượng mạng cũng có thể tăng theo cấp số nhân. Trước khi có AI, lưu lượng dữ liệu biên có thể phân tích (không tính đồ họa, video và nhạc được truyền trực tuyến đến điện thoại) có thể dịch chuyển đến 95%, ví dụ: từ camera đến máy ghi video, từ ô tô đến máy chủ hoặc từ cửa hàng bán lẻ đến trung tâm dữ liệu chính. Mọi phân tích hoặc thông tin chi tiết thường do con người thực hiện vì mọi người chỉ có thể tập trung và quan sát một luồng video duy nhất hoặc được lưu trữ cho một ngày sau đó, loại bỏ khả năng đưa ra quyết định tức thì. Giờ đây, với các giải pháp AI như EGX được triển khai ở ngay tại vị trí dữ liệu, chúng cần phải nói chuyện với các thiết bị IoT, quay trở lại các máy chủ trong trung tâm dữ liệu và giao tiếp với nhau. Các ứng dụng AI giao dịch dữ liệu và kết quả với các CPU tiêu chuẩn, dữ liệu từ biên được tổng hợp với dữ liệu từ trung tâm dữ liệu công ty (hoặc đám mây công cộng) và kết quả được đẩy trở lại ki-ốt, ô tô, thiết bị gia dụng, máy quét MRI và điện thoại.

Kết quả là tạo ra một lượng lớn lưu lượng dữ liệu đa chiều giữa các container, thiết bị IoT, máy chủ GPU, đám mây và các máy chủ tập trung truyền thống. Mạng do phần mềm xác định (SDN) và ảo hóa mạng đóng một vai trò lớn hơn. Và mạng mở rộng này mang đến những lo ngại mới về bảo mật vì bề mặt tấn công tiềm ẩn của tin tặc và phần mềm độc hại lớn hơn nhiều so với trước đây và không thể bị che khuất bên trong tường lửa.

Khi mạng trở nên phức tạp hơn, chúng cần phải trở nên thông minh hơn theo nhiều cách. Một số ví dụ về điều này là:

  1. Các gói phải được định tuyến hiệu quả giữa các container, máy ảo và máy chủ bare-metal.
  2. Ảo hóa chức năng mạng và chuyển mạch gói tăng tốc nhu cầu SDN, có thể là trong không gian người dùng hoặc không gian của kernel.
  3. Việc sử dụng RDMA yêu cầu phải giảm tải phần cứng lên NIC và quản lý lưu lượng thông minh trên các thiết bị chuyển mạch.
  4. Bảo mật yêu cầu dữ liệu phải được mã hóa khi nghỉ ngơi hoặc đang chạy hoặc cả hai (và bất cứ thứ gì được mã hóa cũng phải được giải mã tại một số thời điểm).
  5. Sự tăng trưởng trong dữ liệu IoT kết hợp với việc chuyển đổi từ đĩa quay cơ học sang cái gọi là lưu trữ flash để nén và sao chép dữ liệu, để kiểm soát chi phí lưu trữ.

Những lo ngại về bảo mật và độ phức tạp mạng ngày càng tăng này đặt ra gánh nặng ngày càng tăng lên các máy chủ biên cũng như các máy chủ công ty và đám mây giao tiếp với chúng. Với nhiều sức mạnh AI hơn và tốc độ mạng nhanh hơn, việc xử lý ảo hóa mạng, các quy tắc SDN và lọc bảo mật sẽ thu hút một lượng lớn chu kỳ CPU đắt đỏ, trừ khi bạn có loại mạng thông minh phù hợp. Do đó, khi các kết nối mạng nhanh hơn, các thiết bị thông minh của mạng đó phải được tăng tốc trong phần cứng thay vì chạy trong phần mềm.

SmartNICs cắt giảm các chu trình xử lý ở Biên

Điện toán Biên thông minh hơn yêu cầu mạng thông minh hơn, nhưng nếu mạng này được xử lý bởi CPU hoặc GPU thì các chu kỳ có giá trị sẽ được tiêu thụ bằng cách di chuyển dữ liệu thay vì phân tích và chuyển đổi nó. Ai đó phải mã hóa và giải mã các lớp phủ network header, xác định gói nào đi đến container nào và đảm bảo rằng các quy tắc SDN được tuân thủ. Các tường lửa và bộ định tuyến do phần mềm định nghĩa tạo ra gánh nặng bổ sung cho CPU vì các gói phải được lọc dựa trên nguồn, đích, header hoặc thậm chí dựa trên nội dung bên trong của gói. Sau đó, các gói được chuyển tiếp, sao chép, định tuyến lại hoặc thậm chí bị loại bỏ, tùy thuộc vào các quy tắc mạng.

May mắn thay, có một loại SmartNIC giá cả phải chăng, chẳng hạn như dòng Mellanox ConnectX, giúp giảm tải tất cả công việc này ra khỏi CPU. Các bộ điều hợp này có các chức năng tăng tốc phần cứng để xử lý mạng overlay, Remote Direct Memory Access (RDMA), container networks, virtual switching, storage network và phát trực tuyến video. Chúng cũng tăng tốc ở phía bộ điều hợp cho việc quản lý tắc nghẽn mạng và QoS, và các bộ điều hợp mới nhất, chẳng hạn như Mellanox ConnectX-6 Dx, có thể thực hiện mã hóa và giải mã nội tuyến trong phần cứng ở tốc độ cao, hỗ trợ IPsec và TLS. Với các tác vụ mạng quan trọng nhưng lặp đi lặp lại này được NIC tăng tốc một cách an toàn, các CPU và GPU ở biên kết nối nhanh chóng và hiệu quả với nhau và với thiết bị IoT.

BlueField IPU bổ sung thêm khả năng bảo vệ chống lại phần mềm độc hại và vận hành quá sức

Một tùy chọn mạng nâng cao hơn nữa cho hiệu quả tính toán biên là Bộ xử lý IPU hoặc I/O, chẳng hạn như Mellanox BlueField. IPU kết hợp tất cả mạng tốc độ cao và giảm tải của SmartNIC với các lõi có thể lập trình có thể xử lý các chức năng bổ sung xung quanh mạng, lưu trữ hoặc bảo mật. Ví dụ, một IPU có thể giảm tải cả các chức năng của mặt phẳng dữ liệu SDN và mặt phẳng điều khiển; nó có thể ảo hóa bộ nhớ flash cho CPU hoặc GPU; và nó có thể thực hiện bảo mật trong một miền riêng biệt để cung cấp mức độ bảo vệ rất cao chống lại phần mềm độc hại.

Về mặt bảo mật, các IPU như BlueField cung cấp khả năng cách ly miền bảo mật. Không có nó, bất kỳ phần mềm bảo mật nào đang chạy trong cùng một miền với hệ điều hành, quản lý vùng chứa và ứng dụng. Nếu kẻ tấn công xâm phạm bất kỳ phần mềm nào trong số đó, phần mềm bảo mật có nguy cơ bị bỏ qua, bị xóa hoặc bị hỏng. Nhưng với BlueField, phần mềm bảo mật tiếp tục chạy trên IPU nơi nó có thể tiếp tục phát hiện, cô lập và báo cáo phần mềm độc hại hoặc vi phạm trên máy chủ. Bằng cách chạy trong một miền riêng biệt — được bảo vệ bởi phần cứng gốc đáng tin cậy — các tính năng bảo mật có thể báo động cho các cơ chế phát hiện và ngăn chặn xâm nhập, đồng thời cũng ngăn không cho phần mềm độc hại trên máy chủ bị nhiễm lây lan.

IPU BlueField-2 mới nhất cũng bổ sung đối sánh Biểu thức chính quy (RegEx) có thể nhanh chóng phát hiện các mẫu trong lưu lượng mạng (hoặc bộ nhớ máy chủ), vì vậy nó có thể được sử dụng để xác định mối đe dọa. Nó cũng bổ sung giảm tải phần cứng để tăng hiệu quả dữ liệu thông qua việc khử trùng lặp (thông qua hàm băm SHA-2) và nén / giải nén.

Hệ thống Biên thông minh hơn yêu cầu mạng thông minh hơn

Với việc sử dụng ngày càng nhiều các giải pháp AI, chẳng hạn như nền tảng NVIDIA EGX, hệ thống Biên trở nên thông minh hơn nhiều, nhưng mạng và bảo mật cũng trở nên phức tạp hơn và có nguy cơ làm chậm các máy chủ, ngay khi sự phát triển của IoT và mạng không dây 5G đòi hỏi nhiều sức mạnh tính toán hơn. Điều này có thể được giải quyết với việc triển khai các SmartNIC và IPU, chẳng hạn như các họ sản phẩm Mellanox ConnectX và BlueField. Các giải pháp mạng này giảm tải các tác vụ mạng và bảo mật quan trọng, chẳng hạn như SDN, ảo hóa mạng và các chức năng tường lửa do phần mềm xác định. Điều này cho phép AI ở rìa hoạt động hiệu quả và an toàn hơn, và đó là lý do tại sao Mellanox và NVIDIA rất hào hứng làm việc cùng nhau về các giải pháp dựa trên cạnh.

____
Bài viết liên quan

Vanito Hoang
Góp ý / Liên hệ tác giả