为什么以及如何在边缘设备上运行机器学习算法

基于复杂的机器学习算法分析大量数据需要显著的计算能力。因此，大量数据处理是在本地数据中心或基于云的基础设施中进行的。然而，随着功能强大、能耗低的物联网设备的出现，计算现在可以在机器人等边缘设备上执行。这催生了一个在网络边缘部署卷积神经网络(CNNs)等先进机器学习方法的时代，用于“基于边缘的”ML。

下面的部分将重点介绍将从基于边缘的ML和现有的硬件、软件和软件中获益最多的行业机器学习在网络边缘上实现的方法。

医疗保健领域的尖端设备

在必须立即根据数据处理作出决定的情况下，就需要进行设备内数据分析。例如，可能没有足够的时间将数据传输到后端服务器，或者根本没有连接性。

重症监护是一个可以从基于边缘的ML获益的领域，实时数据处理和决策对于闭环系统来说非常重要，因为闭环系统必须将血糖水平或血压等关键生理参数保持在特定的值范围内。

随着硬件和机器学习方法变得越来越复杂，更复杂的参数可以被边缘设备监测和分析，比如神经活动或心脏节律。

可能受益于基于边缘的数据处理的另一个区域是“环境智能”（AMI）。AMI是指对人们存在敏感并响应人的边缘设备。它可以增强人们和环境彼此相互作用。

对老年人的日常活动监测就是AmI的一个例子。智能辅助生活环境的主要目标是快速检测异常情况，如跌倒或火灾，并通过呼叫紧急援助立即采取行动。

边缘设备包括智能手表、固定麦克风和摄像头(或移动机器人上的摄像头)，以及可穿戴陀螺仪或加速计。每一种边缘装置或传感器技术都有其优缺点，如对隐私的关注相机或定期为可穿戴设备充电。

采矿，石油和天然气和工业自动化

基于边的ML的商业价值在石油、天然气或其他领域变得很明显矿业工业，公司员工在远离人口稠密地区的地方工作，那里不存在连通性。边缘设备上的传感器如机器人可以捕获大量的数据，并准确地预测如跨泵的压力或运行参数正常范围外的值。

在制造业，连接性也是一个问题，机械的预测性维护可以减少不必要的成本，延长寿命工业资产．传统上，工厂定期离线采取机械设备，并​​根据设备制造商的规格进行全面检查。然而，这种方法昂贵且低效，并且它不考虑每台机器的特殊操作条件。

另外，工厂或仓库内所有机器的嵌入式传感器可以读取数据，并对静止图像、视频或音频应用深度学习，以识别预示未来设备故障的模式。

边缘设备和ML框架

下表描述了一些在边缘设备上运行的最流行的ML框架。大多数框架都提供了用于语音识别、目标检测、自然语言处理(NLP)、图像识别和分类等的预训练模型。它们还为数据科学家提供了利用迁移学习或从头开始开发定制ML模型的选择。

用于物联网边缘设备的流行ML框架

框架的名字	边缘设备需求
TensorFlow Lite -谷歌	Android, iOS, Linux，微控制器(ARM Cortex-M, ESP32)
Firebase ML套件 - Google	Android, iOS
PyTorch Mobile - Facebook	Android, iOS
核心ML 3 -苹果	iOS.
嵌入式学习库(ELL) 微软	树莓派，Arduino，微:位
Apache mxnet - Apache软件 基金会（ASF）	Linux、树莓派、NVIDIA Jetson

Tensorflow Lite由Google开发，具有应用程序编程接口[API]，包括许多编程语言，包括Java，C ++，Python，Swift和Objection-C。它针对设备上的应用进行了优化，提供了用于设备上的解释器。自定义模型以Tensorflow Lite格式转换，并且它们的大小优化以提高效率。

Firebase的ML也是谷歌开发的。它以移动平台为目标，并使用TensorFlow Lite、谷歌云视觉API和Android神经网络API提供设备上的ML功能，如面部检测、条形码扫描和对象检测等。

PyTorch Mobile是由Facebook开发的。目前的实验性版本针对两个主要的移动平台，并部署在经过培训并保存为火炬脚本模型的移动设备模型上。

Core ML 3来自Apple，是自最初发布以来的核心ML的最大更新，支持几种ML方法，特别是与深度神经网络相关。

ELL是微软的一个软件库，它将ML算法部署在小型的单板机上，并拥有针对Python和c++的api。模型在计算机上编译，然后在边缘设备上部署和调用。

最后，Apache MxNet支持许多编程语言（Python，Scala，R，Julia，C ++，Clojure等），其中Python API提供了大部分对训练模型的改进。

边缘设备硬件

在大多数现实生活用例中，要求边缘设备被要求完成的任务是图像和语音识别，自然语言处理和异常检测。对于这样的任务，最好的机器算法属于深度学习区域，其中多个层用于基于输入提供输出参数。

由于需要大并行矩阵乘法的深度学习算法的性质，用于边缘设备的最佳硬件包括特定于应用程序的集成电路（ASIC），现场可编程门阵列（FPGA），基于RISC的处理器和嵌入式图形处理单元（GPU）。

表2总结了一些具有相应硬件规格的流行边缘设备。

流行的边缘设备和他们的硬件规格

边设备	GPU	CPU	ML软件支持
珊瑚SOM - 谷歌	Vivante GC7000Lite.	四臂皮层- A53 + Cortex-M4F	Tensorflow Lite，Automl Vision Edge
英特尔NCS2	Movidius无数X VPU (GPU)		TensorFlow, Caffe, OpenVINO工具包
树莓4π	VideoCore机器	四臂皮层- A72	TensorFlow, TensorFlow Lite
英伟达杰森并	nvidia pascal	双丹佛2 - 64位 +四臂A57	Tensorflow，Caffe.
RISC-V GAP8			纹orflow.
手臂风气n - 77	群体中的8个NPU，64 转专业的网		TensorFlow, TensorFlow Lite，咖啡因2,PyTorch， MXNet, ONNX
ECM3531 A - Eta 计算	手臂Cortex-M3 + NXP CoolFlux DSP.		Tensorflow，Caffe.

由谷歌设计的Coral system -on- module (SoM)是一个完全集成的ML应用系统，包括CPU、GPU和边缘张量处理单元(TPU)。Edge TPU是一种专用集成电路，可以加速深度学习网络的执行，每秒能够执行4万亿次操作
（最高额）。

英特尔神经计算棒2（NCS2）看起来像标准的USB拇指驱动器，并在最新内置英特尔Movidius Myriad X视觉处理单元(VPU)，这是一个系统片上(SoC)系统，具有专用的神经计算引擎，用于加速深度学习推理。

Raspberry Pi 4是基于Broadcom BCM2711 SoC的单板机，运行自己版本的Debian操作系统(Raspbian);如果将Coral USB连接到其USB 3.0端口，则可以加速ML算法。

NVIDIA Jetson TX2是嵌入式的SoC用于部署计算机视觉和深度学习算法。该公司还提供Jetson Xavier NX.．

RISC-V GAP8由GreenWaves Technologies设计，是一种超低功耗，八核，RISC-V基于RISC-V的处理器优化，用于执行用于图像和音频识别的算法。在部署之前，必须通过开放神经网络交换（ONNX）打开格式移植到Tensorflow。

ARM Ethos N-77是一个多核神经处理单元(NPU)， ARM Ethos的一部分，以ml为重点的家族。它提供多达4个性能的top，并支持用于图像/语音/声音识别的几种ML算法。

ECM3531是ETA Compute的ASIC，基于ARM Cortex-M3架构，该架构能够在很少的毫米中执行深度学习算法。程序员可以选择在DSP上运行深度神经网络，从而降低了更多的功耗。

结论

由于边缘设备的存储器和计算资源有限，大部分时间都不是可行的培训大量数据。深入学习模型在强大的内部部署或云服务器实例中受过培训，然后部署在边缘设备上。

开发人员可以使用多种方法来解决这个问题：设计高效的ML算法，开发更好，更专业的硬件，并发明新的分布式学习算法，其中所有IOT设备通信和共享数据。

最后一种方式受到网络带宽的限制，因此未来5G网络将提供超可靠、低延迟的通信服务，在这方面将大有帮助边缘计算．

此外，基于边缘的ML已经被证明可以增强边缘设备捕获的数据集的隐私性和安全性，因为它们可以通过编程丢弃敏感数据字段。边缘设备处理数据，丰富数据(通过添加元数据)，然后将它们发送到后端系统，从而提高了总体系统响应时间。

我认为，对设备的硬件和ML算法设计的进一步进展将为许多行业带来创新，并将真正展示基于边缘的机器学习的转型力。

关于作者

Fotis Konstantinidis是该公司董事总经理兼人工智能和数字转型主管Stout Risius Ross有限责任公司．他在数据挖掘、高级分析、数字战略和企业数字技术集成方面拥有超过15年的经验。

作为加州大学洛杉矶分校神经成像实验室的一名大脑研究员，Konstantinidis开始应用数据挖掘技术，专注于识别阿尔茨海默氏症患者的数据模式。他也是将机器学习技术应用于基因组进化领域的领导者之一。Konstantinidis已经在多个行业实现了人工智能，包括银行、零售、汽车和能源。

之前加入的康斯坦蒂尼迪斯曾在Co - op Financial services、麦肯锡公司(McKinsey & Co.)、Visa和埃森哲(Accenture)担任人工智能驱动产品和服务的领导职位。