边缘计算 - 英特尔Movidius神经计算棒及其应用

简介: 预计到2020年,全球将有200亿联网设备,设备端与云端的数据传输量将高达数百亿PB。对物联网而言,如果边缘计算技术取得突破,意味着数据将通过本地设备处理并做出反馈,而无需交由云端,计算处理过程将在本地边缘端完成。这无疑将大大提升处理效率,减轻云端的负荷,还可为用户带来更快的响应,减少数据隐私泄露,提高边缘端计算可靠性等等好处。

什么是边缘计算?


边缘计算并非是一个新鲜词,无论是云还是边缘计算,本身只是实现物联网、智能制造等所需要计算技术的一种方法或者模式。本质上,只是相对于云计算而言,边缘计算是在接近于现场应用端提供的计算。


image.png


边缘计算优点更多体现在:

  • 减少网络带宽:减少数据从传感器/设备端传向云端所占用的网络带宽;
  • 降低延迟:降低由云端决策并在设备端执行反馈的延迟;
  • 数据隐私:无需上传涉及用户隐私数据,直接在边缘端判断形成决策反馈;
  • 应用可靠性:物联网设备工作环境有可能会比较恶劣,无法联网等情况也会时有发生,边缘端计算将有效降低对云端的依赖度。


接下来,我们以计算机视觉和AI在边缘端的应用场景为例,典型的应用场景为:智能机器人,安全摄像头,智能家居助手,这些应用场景涉及到的核心算法为:物体识别,物体分类,人脸识别以及自然语言处理等。


AI应用开发过程


image.png


通常人工智能应用的开发过程分为4步:

  • 数据获取与预处理
  • 深度学习/机器学习建模
  • 训练并调整模型参数,以满足性能和精确度的平衡
  • 部署训练好的模型


我们这里谈论边缘计算,主要体现在将训练好的模型部署在边缘端的设备上(并非利用边缘端来做深度学习训练)。


深度学习模型通常包含海量的参数,需要强大的计算力进行大规模的神经网络矩阵运算;但是终端和物联网设备往往更多考虑小体积和低功耗的要求,以至于很难兼顾满足高性能神经网络计算力和实时性要求。


image.png


将计算从云端迁移到边缘端,碰到的主要障碍为:

  • 精确度
  • 计算能力
  • 模型效率
  • 模型大小


讲到这里,我们可以开始谈谈Movidius这家公司了。Movidius是一家计算机视觉智能芯片公司,2016年9月份被英特尔收购,用以扩充英特尔在物联网视频/视觉领域的版图。


image.png


Movidius这家公司的核心技术,Intel Movidius Myriad 2 Vision Processing Unit (VPU),是一款超低功耗,为无人机,机器人,虚拟现实以及智能安全等领域提供高性能视觉智能解决方案的计算芯片。


  • 超低功耗设计:Myriad 2拥有在低功耗下多个高级视觉算法实现,让视觉应用程序完全可以基于这种小型封装设备运行,适用于大量的物联网设备等芯片功耗及电池使用时间都极其敏感的应用场景。
  • 高性能处理器:在边缘端为物联网设备提供人类视觉的计算能力,让计算机视觉应用可以运行在传统计算芯片无法胜任的功耗和温度要求及其苛刻的环境下。
  • 可编程架构:集成该芯片的设备制造商,通过集成Myriad 2的高性能软件库,可以开发出不同的功能特点的应用程序。
  • 小面积设计:芯片封装面积非常小,很容易集成到现有的移动设备,可穿戴设备和嵌入式设备中。

Movidius神经计算棒(2代)

image.png

英特尔®Movidius™神经计算棒是基于USB模式的深度学习推理工具和独立的人工智能(AI)协处理器,其内部核心是一颗Myriad 2处理器(28nm工艺),具有80~150 GFLOPS的性能,该处理器也被称为视觉处理单元 (或视觉加速器),功耗仅为1W左右(作为参考,树莓派3B在HDMI关闭,LED熄灭和WiFi开启时功耗大概在1.2W),因此完全可以通过USB供电,可以广泛的为边缘主机设备提供专用深度神经网络处理功能。外形小巧的MovidiusTM神经计算棒专为产品开发者、研究人员和创客设计,提供专用高性能深度神经网络处理性能,从而减少开发、调优和部署人工智能应用的障碍。


如何使用英特尔神经计算棒来做边缘推理


image.pngimage.pngimage.png

image.png


单来说,这个过程需要分为3个步骤:

  • 模型训练(数据中心--云端),常用的深度学习框架:Caffe / TensorFlow / mxnet / 等等。
  • 优化和编译(笔记本电脑+NCS),将模型在不怎么损失太多精度的情况下进行优化和格式转化,用以生成适合不同硬件二进制模型。
  • 部署模型并用于实际场景的推理


从上图所述,有2点值得强调:

  • 模型部署好后的推理,Intel有很多种方案,比如CPU / GPU / FPGA / VPU等解决方案,分别适用不同的应用场景;
  • 上述工具和开发包,Intel也配套提供了软件包叫做OpenVINO,如果再将上述过程细化,如下图所示:

image.png


上述过程每个阶段都有相应的软件框架和工具来完成,为了让大家更熟悉上述过程怎么玩,Intel现在每年都会举办英特尔人工智能开发者大会,帮助大家熟悉并了解相关的工具集,以及相关的硬件产品和业内生态进展,最佳实践等。

相关文章
|
7月前
|
传感器 边缘计算 自动驾驶
边缘云计算技术的应用发展
边缘云计算技术的应用发展
61 0
|
10天前
|
存储 边缘计算 安全
探索边缘计算在工业自动化中的应用
【5月更文挑战第14天】本文探讨了边缘计算在工业自动化中的应用,包括实时数据分析、预测性维护、协同制造及安全隐私保护。边缘计算通过在数据源头处理信息,实现更快响应和低延迟,促进生产效率提升、稳定性增强及安全性改善。随着技术发展,边缘计算将在工业自动化领域扮演更重要角色,推动制造业数字化转型。
|
10天前
|
传感器 边缘计算 监控
|
10天前
|
边缘计算 安全 数据处理
边缘计算的广泛应用正在为企业带来了诸多优势
边缘计算的广泛应用正在为企业带来了诸多优势
52 13
边缘计算的广泛应用正在为企业带来了诸多优势
|
10天前
|
传感器 边缘计算 物联网
Docker在物联网和边缘计算中的应用
物联网(IoT)和边缘计算(Edge Computing)是当今科技领域中备受关注的两个领域。它们的兴起为连接设备、传感器和数据提供了新的机会,而Docker容器技术则在这一领域中发挥着重要作用。本文将探讨Docker在物联网和边缘计算中的应用,提供丰富的示例代码和综合的内容,以帮助大家更好地理解这两个领域的交汇点。
|
10天前
|
边缘计算 人工智能 监控
Neousys宸曜科技强固型Jetson AGX Orin边缘计算平台,赋能视觉边缘计算AI推理应用
工业级强固型嵌入式平台厂商Neousys宸曜科技发布了新的NVIDIA Jetson无风扇嵌入式计算平台NRU-220S系列。NRU-220S系列搭载了Jetson AGX Orin 32GB/ 64GB系统模块(SOM),并以一系列综合的工业设计体现了Neousys宸曜科技的强固DNA,不仅能提供高达275(具有稀疏性)INT8 TOPS人工智能算力,还支持-25°C至70°C宽温范围运行,非常适用于部署在路侧、车载、食品生产线或多粉尘环境的工厂,用于智能视频分析、监控或检测应用。
|
6月前
|
边缘计算 Kubernetes 安全
实现边缘计算和容器应用
实现边缘计算和容器应用
|
7月前
|
传感器 机器学习/深度学习 中间件
CLAID:关闭人工智能和数据收集的循环——一个用于智能边缘云和数字生物标记应用的跨平台透明计算中间件框架
CLAID:关闭人工智能和数据收集的循环——一个用于智能边缘云和数字生物标记应用的跨平台透明计算中间件框架
102 0
|
8月前
|
传感器 人工智能 监控
FC-PDIO01 CC-TUIO31 监控和持续改进其边缘AI应用
FC-PDIO01 CC-TUIO31 监控和持续改进其边缘AI应用
52 0
|
数据采集 存储 人工智能
边缘计算,会成为拓展AI应用边界的新顶流吗?
很多人都听说过边缘计算,但不一定知道边缘计算是用来干嘛的?其实“边”是配合“端”一起来使用的。什么是“端”?举个例子,传感器、无人机都是典型的“端”。 如今,无人机已经远远不止用于拍大片了,因为无论是农业喷洒还是防汛抗旱,无论是电力巡检还是国土巡防,无人机经常出现在新闻报道中。只不过,无人机在很多行业应用中扮演了一个上帝视角的视频采集员的角色,而真正的实时视频分析离不开“幕后英雄”——边缘计算。
131 0