边缘计算 - 英特尔Movidius神经计算棒及其应用

简介: 预计到2020年,全球将有200亿联网设备,设备端与云端的数据传输量将高达数百亿PB。对物联网而言,如果边缘计算技术取得突破,意味着数据将通过本地设备处理并做出反馈,而无需交由云端,计算处理过程将在本地边缘端完成。这无疑将大大提升处理效率,减轻云端的负荷,还可为用户带来更快的响应,减少数据隐私泄露,提高边缘端计算可靠性等等好处。

什么是边缘计算?


边缘计算并非是一个新鲜词,无论是云还是边缘计算,本身只是实现物联网、智能制造等所需要计算技术的一种方法或者模式。本质上,只是相对于云计算而言,边缘计算是在接近于现场应用端提供的计算。


image.png


边缘计算优点更多体现在:

  • 减少网络带宽:减少数据从传感器/设备端传向云端所占用的网络带宽;
  • 降低延迟:降低由云端决策并在设备端执行反馈的延迟;
  • 数据隐私:无需上传涉及用户隐私数据,直接在边缘端判断形成决策反馈;
  • 应用可靠性:物联网设备工作环境有可能会比较恶劣,无法联网等情况也会时有发生,边缘端计算将有效降低对云端的依赖度。


接下来,我们以计算机视觉和AI在边缘端的应用场景为例,典型的应用场景为:智能机器人,安全摄像头,智能家居助手,这些应用场景涉及到的核心算法为:物体识别,物体分类,人脸识别以及自然语言处理等。


AI应用开发过程


image.png


通常人工智能应用的开发过程分为4步:

  • 数据获取与预处理
  • 深度学习/机器学习建模
  • 训练并调整模型参数,以满足性能和精确度的平衡
  • 部署训练好的模型


我们这里谈论边缘计算,主要体现在将训练好的模型部署在边缘端的设备上(并非利用边缘端来做深度学习训练)。


深度学习模型通常包含海量的参数,需要强大的计算力进行大规模的神经网络矩阵运算;但是终端和物联网设备往往更多考虑小体积和低功耗的要求,以至于很难兼顾满足高性能神经网络计算力和实时性要求。


image.png


将计算从云端迁移到边缘端,碰到的主要障碍为:

  • 精确度
  • 计算能力
  • 模型效率
  • 模型大小


讲到这里,我们可以开始谈谈Movidius这家公司了。Movidius是一家计算机视觉智能芯片公司,2016年9月份被英特尔收购,用以扩充英特尔在物联网视频/视觉领域的版图。


image.png


Movidius这家公司的核心技术,Intel Movidius Myriad 2 Vision Processing Unit (VPU),是一款超低功耗,为无人机,机器人,虚拟现实以及智能安全等领域提供高性能视觉智能解决方案的计算芯片。


  • 超低功耗设计:Myriad 2拥有在低功耗下多个高级视觉算法实现,让视觉应用程序完全可以基于这种小型封装设备运行,适用于大量的物联网设备等芯片功耗及电池使用时间都极其敏感的应用场景。
  • 高性能处理器:在边缘端为物联网设备提供人类视觉的计算能力,让计算机视觉应用可以运行在传统计算芯片无法胜任的功耗和温度要求及其苛刻的环境下。
  • 可编程架构:集成该芯片的设备制造商,通过集成Myriad 2的高性能软件库,可以开发出不同的功能特点的应用程序。
  • 小面积设计:芯片封装面积非常小,很容易集成到现有的移动设备,可穿戴设备和嵌入式设备中。

Movidius神经计算棒(2代)

image.png

英特尔®Movidius™神经计算棒是基于USB模式的深度学习推理工具和独立的人工智能(AI)协处理器,其内部核心是一颗Myriad 2处理器(28nm工艺),具有80~150 GFLOPS的性能,该处理器也被称为视觉处理单元 (或视觉加速器),功耗仅为1W左右(作为参考,树莓派3B在HDMI关闭,LED熄灭和WiFi开启时功耗大概在1.2W),因此完全可以通过USB供电,可以广泛的为边缘主机设备提供专用深度神经网络处理功能。外形小巧的MovidiusTM神经计算棒专为产品开发者、研究人员和创客设计,提供专用高性能深度神经网络处理性能,从而减少开发、调优和部署人工智能应用的障碍。


如何使用英特尔神经计算棒来做边缘推理


image.pngimage.pngimage.png

image.png


单来说,这个过程需要分为3个步骤:

  • 模型训练(数据中心--云端),常用的深度学习框架:Caffe / TensorFlow / mxnet / 等等。
  • 优化和编译(笔记本电脑+NCS),将模型在不怎么损失太多精度的情况下进行优化和格式转化,用以生成适合不同硬件二进制模型。
  • 部署模型并用于实际场景的推理


从上图所述,有2点值得强调:

  • 模型部署好后的推理,Intel有很多种方案,比如CPU / GPU / FPGA / VPU等解决方案,分别适用不同的应用场景;
  • 上述工具和开发包,Intel也配套提供了软件包叫做OpenVINO,如果再将上述过程细化,如下图所示:

image.png


上述过程每个阶段都有相应的软件框架和工具来完成,为了让大家更熟悉上述过程怎么玩,Intel现在每年都会举办英特尔人工智能开发者大会,帮助大家熟悉并了解相关的工具集,以及相关的硬件产品和业内生态进展,最佳实践等。

相关文章
|
4月前
|
边缘计算 Kubernetes Cloud Native
边缘计算问题之根据请求响应的时延要求来部署业务应用如何解决
边缘计算问题之根据请求响应的时延要求来部署业务应用如何解决
56 4
|
5月前
|
存储 边缘计算 安全
边缘计算的概念和在IoT中的应用
随着物联网(IoT)设备数量的激增,传统的云计算模式面临着数据传输延迟和带宽压力等问题。边缘计算作为一种新的计算模式,通过将计算资源和服务部署到靠近数据源的位置,解决了这些问题。
103 2
|
19天前
|
边缘计算 自动驾驶 物联网
探索云计算的边缘计算:定义、优势及应用前景
探索云计算的边缘计算:定义、优势及应用前景
|
25天前
|
边缘计算 运维 Cloud Native
阿里云基于云原生的大规模云边协同关键技术及应用荣获浙江省科学技术进步一等奖
11月22日, 2023年度浙江省科学技术奖获奖成果公布,阿里云与浙江大学、支付宝、谐云科技联合完成的基于云原生的大规模云边协同关键技术及应用获得浙江省科学技术进步一等奖。
|
21天前
|
边缘计算 监控 自动驾驶
揭秘云计算中的边缘计算:架构、优势及应用场景
揭秘云计算中的边缘计算:架构、优势及应用场景
|
1月前
|
人工智能 边缘计算 监控
边缘AI计算技术应用-实训解决方案
《边缘AI计算技术应用-实训解决方案》提供完整的实训体系,面向高校和科研机构的AI人才培养需求。方案包括云原生AI平台、百度AIBOX边缘计算硬件,以及8门计算机视觉实训课程与2门大模型课程。AI平台支持大规模分布式训练、超参数搜索、标注及自动化数据管理等功能,显著提升AI训练与推理效率。硬件涵盖多规格AIBOX服务器,支持多种推理算法及灵活部署。课程涵盖从计算机视觉基础到大模型微调的完整路径,通过真实商业项目实操,帮助学员掌握前沿AI技术和产业应用。
57 2
|
4月前
|
传感器 人工智能 监控
|
4月前
|
存储 边缘计算 Kubernetes
边缘计算问题之边缘计算平台建设中业务应用践行云原生体系如何解决
边缘计算问题之边缘计算平台建设中业务应用践行云原生体系如何解决
63 1
|
4月前
|
存储 边缘计算 安全
边缘计算与云计算的协同工作:技术解析与应用前景
【8月更文挑战第4天】边缘计算与云计算的协同工作是未来信息技术发展的重要趋势。通过合理地分配任务和资源,两者可以相互补充、发挥各自的优势,实现更高效的数据处理和分析。这种协同模式不仅提高了系统的性能和可靠性,还满足了复杂多变的应用需求,为人工智能、物联网等技术的发展提供了强有力的支持。
246 11
|
4月前
|
机器学习/深度学习 边缘计算 人工智能
ONNX 在边缘计算中的应用
【8月更文第27天】随着物联网 (IoT) 和边缘计算技术的不断发展,越来越多的智能设备被部署在远离数据中心的位置,以处理实时数据并做出即时决策。Open Neural Network Exchange (ONNX) 作为一种开放格式,允许在不同框架之间交换经过训练的机器学习模型,为边缘计算中的模型部署提供了重要的支持。本文将探讨 ONNX 如何简化边缘计算中复杂 AI 模型的部署,并讨论在此过程中可能遇到的挑战及解决方案。
150 0