开发者社区> 数据智能小二> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

推荐 | 阿里开源深度神经网络推理引擎 MNN

简介: 近日,阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。
+关注继续查看

1
近日,阿里正式开源了轻量级深度学习端侧推理引擎 “MNN”。

MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。

官方希望 MNN 能够抹平 Android 和 iOS 的差异、碎片设备之间的差异、不同训练框架的差异,实现快速的在端侧部署运行,并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。
2

△ MNN 架构设计,分为 Converter 和 Interpreter 两部分

具体来说,MNN 负责加载网络模型,推理预测返回相关结果。整个推理过程可以分为模型的加载解析、计算图的调度、在异构后端上高效运行。MNN 具备四大特征:

通用性:支持 Tensorflow、Caffe、ONNX 等主流模型文件格式,支持 CNN、RNN、GAN 等常用网络。

轻量性:针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。

高性能:不依赖任何第三方计算库,依靠大量手写汇编实现核心运算,充分发挥 ARM CPU 的算力。

易用性:具备完善的文档和实例,有高效的图像处理模块,覆盖常见的形变、转换等需求。支持回调机制,方便提取数据或者控制运行走向。

关于 MNN 的优势,已入职阿里的 AI 科学家贾扬清评价道:

与 Tensorflow、Caffe2 等同时覆盖训练和推理的通用框架相比,MNN 更注重在推理时的加速和优化,解决在模型部署的阶段的效率问题,从而在移动端更高效地实现模型背后的业务。

这意味着 MNN 和服务器端 TensorRT 等推理引擎的想法相符合。在大规模机器学习应用中,考虑到大规模的模型部署,机器学习的推理侧计算量往往是训练侧计算量的十倍以上,所以推理侧的优化尤其重要。

3

目前,MNN 已经在手淘、手猫、优酷、聚划算、UC 等 20 多个 App 中使用,覆盖直播、短视频、搜索推荐、商品图像搜索等场景,每天稳定运行上亿次。此外,IoT 等场景下也有若干应用。官方计划每两个月发布一个稳定版本


原文来源:开源中国社区

文章参考:MNN 项目介绍、阿里技术


阿里云数据智能产品免费体验中(5月15日-6月15日)!点击传送至活动地址!

欢迎加入阿里云数据智能交流群,欲要了解更多人工智能方面的知识,和更多同道开发者交流讨论,欢迎加入我们。

一:钉钉搜索数字进入交流群:23116044
二:钉钉扫描二维码进交流群:
test

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
遭不住了!Alibaba开源内网“M9”级别高并发编程全彩版进阶手册
随着近几年云原生、容器化、分布式计算的逐渐发展和普及,以及微服务架构的演进与兴起,Java高并发编程在设计与编程中的地位越来越重要。Java高并发编程已经成为架构师、资深编程人员进行分布式协作设计、服务设计、模块开发所必需的基本功,也是理解、使用、优化Web容器、JEE容器、云原生基础设施组件所不可或缺的基本技能。 而今天团长分享的这份阿里内网“M9级全彩高并发编程手册”,让大家不仅能够学到深度、专业的编程知识,还能感受到阿里专注地提高编程技能的态度,始终如一地贡献、分享Java专业知识与经验的精神,以及持续学习、持续成长的进取精神。
26 0
阿里开源项目
阿里开源项目
343 0
Vineyard | 开源分布式内存数据管理引擎
阿里巴巴技术专家迪杰&高级开发工程师临竹在阿里云开发者社区特别栏目《周二开源日》直播中,介绍了Vineyard的设计动因和整体架构,并通过示例展示如何使用Vineyard来共享数据,分享Vineyard结合云原生能力,赋能更大数据应用场景的尝试和愿景。本文为直播内容文字整理,看直播回放,请点击文首链接~
1097 0
阿里开源!轻量级深度学习端侧推理引擎 | 开发者必读(011期)
最炫的技术新知、最热门的大咖公开课、最有趣的开发者活动、最实用的工具干货,就在《开发者必读》!
950 0
阿里云栖开发者沙龙-数据库技术专场(最全资料下载)
前言: 2018年12月01日举办了第一期阿里云栖开发者玩转数据库技术沙龙,本次活动由云栖社区主办,地点就在北京阿里中心。 阿里云栖开发者沙龙希望通过技术干货分享来打通线上线下专家和开发者的连接。
3995 0
阿里推荐与搜索引擎 - AI·OS综述
AI·OS(Online Serving),大数据深度学习在线服务体系,由我们工程、算法、效率的同事们砥砺十年而成,支撑起海内外阿里电商全部的搜索和推荐业务,时刻置身大数据主战场,引导成交占据集团大盘主体;此外,作为中台技术中坚,AI·OS已是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施;更为重要的是,AI·OS体系的云产品矩阵服务于全球开发者,今年预期在数千万级的营收规模。
9174 0
阿里开源消息中间件RocketMQ的前世今生
昨天,我们将分布式消息中间件RocketMQ捐赠给了开源软件基金会Apache。 孵化成功后,RocketMQ或将成为国内首个互联网中间件在Apache上的顶级项目。
14922 0
参加阿里云栖大会Tech Insight,不可错过的6大理由
云栖大会北京峰会是Tech Insight继4月深圳云栖大会上的二度亮相,继首次开办总结经验之后,此次议题选择更侧重用户需求,议程设置更为丰满。很多报名的朋友们希望能对日程、讲师以及参会建议能够有进一步的解读。为此,云栖社区特别采访了Tech Insight的专场出品人,解读六大亮点!
7986 0
几种开源工作流引擎的简单比较(转)
摘要:目前开源工作流引擎用的最多的是jbpm , 各种特性都不错, 文档也比较多, 下面只简单列举一下   目前开源工作流引擎用的最多的是jbpm , 各种特性都不错, 文档也比较多, 下面只简单列举一下 其他几种工作流引擎的特性。
4712 0
+关注
数据智能小二
短耳熊
文章
问答
文章排行榜
最热
最新
相关电子书
更多
端到端GPU性能优化 在深度学习场景下的应用实践
立即下载
基于实时深度学习的推荐系统架构设计和技术演进
立即下载
PHP在机器学习上的应用及云深度学习平台的架构设计与实现
立即下载