英特尔如何开启智能视觉创新？

英特尔如何开启智能视觉创新？

物联网正从边缘侧趋向负载整合

同时，负载整合实际上也为边缘计算的实现以及为实施人工智能的应用提供了条件。整合后的设备既是边缘数据的汇聚节点，同时也是边缘控制的中心，这为边缘智能提供了处理所需的数据，同时也提供了控制的入口。因此英特尔认为人工智能和负载整合的结合，会在今后的边缘计算的系统里发生。

来自《战略师的物联网指南》 的数据显示，到2021年，边缘到云行业支出预计将达到110亿美元。在这一涵盖智能制造、智慧城市等领域的巨大物联网机遇中，智能设备、传感器和互联事物捕捉的视频将会占据60亿美元的份额。

测试结果显示，在英特尔酷睿i7 7800X处理器上运行Google Nex网络，相应的性价比是目前市场上主流解决方案的两倍以上；如果选用FPGA，其性能、功耗、成本比值的综合考量性能大概能达到1.4倍以上；而使用Movidius的话，性能可进一步提升至5倍以上。

计算机视觉和深度学习开发工具OpenVINO

从人工智能的演进过程中可以看到，早期的人工智能计算，无论是训练还是推理都发生在数据中心，因为只有数据中心才能够提供如此惊人的计算力和电力的消耗。然而近年来，随着网络压缩算法的广泛使用，以及人工智能专用芯片的出现，使得一些深度学习运算可以从云端推送到边缘，使得智能摄像机、智能网络视频存储器、NVR等产品逐步面世。

OpenVINO对这两类方法都有很好的支持，从而帮助开发者将已经训练好的网络模型部署到目标平台之上进行推理操作。考虑到目前比较流行的深度学习框架包括Caffe、Tensor Flow、MxNet三种，模型优化器和推理引擎可以把开发者基于开放的深度学习框架所开发的网络模型，针对所选用的目标平台进行优化，然后将这些优化的结果转换成包含网络拓扑结构、模型参数和模型变量的中间表述文件(IR文件)供推理引擎读取，再利用相应的硬件插件将IR文件下载到目标平台上进行执行，开发者可以通过测试程序或应用来验证结果的正确性。

传统计算机视觉工具库则是经过预编译的，支持OpenCV3.3版本。此外，OpenVINO还包含了对OpenVX以及OpenVX在神经网络扩展的支持，同时在媒体、视频、图像处理领域还包含了已经非常成熟的英特尔媒体软件开发套件(Media SDK)，可以帮助开发者非常方便的利用英特尔CPU里面集成显卡的资源来实现多种视频格式(H.264、H.265)的编码、解码以及转码的操作。这样，一个工具库同时支持多种操作系统，用户可以非常方便的调用英特尔硬件资源，实现性能的提升，达到事半功倍的效果。

让我们一起看看集成了高级软硬件的英特尔视觉解决方案是如何在边缘节点(包括摄像头和本地服务器)处促进强大的深度学习推理功能在各行各业中的应用：

交通监控。采用英特尔FPGA和Movidius™ VPU的摄像头可捕捉数据，并自动将其发送至下游十字路口系统，帮助交通部门优化交通和做好规划。这些信息可通过车载系统或应用直接传达给司机，帮助他们规划路线。

工业自动化。英特尔视觉解决方案可帮助智能工厂融合OT和IT，重塑工业业务模式和增长战略。生产控制将可自动、流畅运转，缩短上市时间。

响应式零售。在边缘使用英特尔计算机视觉解决方案的零售商，可以快速识别特定客户或客户行为模式，从而提供个性化的精准营销服务。

运营管理。通过使用基于英特尔架构的计算机视觉解决方案，零售商可简化运营、管理库存、优化供应链和增强推销能力，并帮助他们发掘数据的更高价值。

OpenVINO中的关键先生

张宇列举了两个优化的案例。第一，在做训练的时候，有可能会存在一个Dropout层，它的主要作用是在训练过程中让一定比例的神经元失效，从而避免在训练过程中让模型参数陷入局部极小值，导致失去最优效果。但Dropout层在做推理的时候是没有必要的，因此OpenVINO中的模型优化器可以自动检测当前的网络模型，如果发现有Dropout层存在，就会自动将其剔除掉。第二，将神经网络模型里包含的卷积层、全邻接层、激活函数层的网络优化工作交给模型优化器进项实现，目前英特尔已经验证超过了150个在Caffe、MxNet和Tensor Flow上所设计的模型。

目前，用户可以把中间文件下载到英特尔Arria10 FPGA板卡之上，调用DLA库，实现在FPGA上的网络推理操作；或者通过MKLDN插件，把中间文件下载到英特尔凌动、酷睿和至强处理器上，在这些通用CPU之上实现深度学习的运行；再或者，通过CLDNN和OpenCL的接口将神经网络运行在英特尔的集成显卡之上，以及利用Movidius插件把神经网络运行在基于Myriad2/Myriad X深度学习计算棒上。今后，如果有一个新的硬件架构需要支持，就可以设计一个相应的插件来实现功能的扩展，而不需要改变插件之上的软件，从而能够保护开发者的开发成本。

OpenVINO工具套件的另一个优势在于它的访问实际上是分层的，不同的开发者可以根据自己的使用要求和开发能力去选择不同的API接口进行调用。对于新手来说，OpenVINO里包含了很多应用的示例，比如物体检测、人脸识别等；对于能力更强的用户，OpenVINO可提供网络的实现，也被称作Model Zoo，他们可以在此基础之上实现相应的应用开发。如果要设计一些新的网络模型，或是直接调用硬件底层接口实现对硬件的直接访问，则可以利用模型优化器和推理引擎将网络模型转换成硬件可识别的语言后，再下载到硬件平台上进行执行。