带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(1)

简介: 带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(1)



作者:霞影(姜霄棠)

出品:大淘宝技术



MNN近期更新了2.0版本啦!在整体定位方面,相比于1.0版本的端侧深度学习引擎,MNN 2.0迈向了端云一体化的通用深度学习框架,一方面大幅优化了在服务端CPU和GPU上的性能;另一方面新增了类似OpenCV、Numpy的通用计算模块,以完整覆盖学习任务的前处理、模型运行、后处理3阶段。下面本文将对MNN 2.0的相关技术做详细介绍。


MNN 及技术挑战


MNN 简介


MNN 是一个轻量级的深度学习引擎,核心解决深度神经网络模型在各类设备,尤其是移动设备/嵌入式设备的推理与训练问题。目前,MNN已经在淘宝、手猫、优酷、聚划算、UC、飞猪、千牛等 30 多个 App 中使用,覆盖直

播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景,每天稳定运行上亿次。基于 MNN 实现了首个端到端、通用型、规模化产业应用的端云协同机器学习系统—— Walle ,相关论文发表在系统领域顶级会议 OSDI'22 上。


MNN 的特点是轻量、通用、易用、高效:


轻量性


1.主体功能(模型推理CPU+GPU)无任何依赖,代码精简,可以方便地部署到移动设备和各种嵌入式设备中。


iOS平台:功能全开的MNN静态库 armv7+arm64大小12MB左右,链接生成可执行文件增加大小2M左右。裁剪主体功能后静态库大小6.1M ,链接生成可执行文件增加大小 600 KB。


Android平台:主体功能 armv7a - c++_shared 动态库大小800KB左右。


2.支持采用 Mini 编辑选项进一步降低包大小,大约能在上述库体积基础上进一步降低 25% 左右。


3.支持模型FP16/Int8压缩与量化,可减少模型50% - 75% 的体积



带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(2) https://developer.aliyun.com/article/1248037?groupCode=taobaotech

相关文章
|
8天前
|
机器学习/深度学习 自然语言处理
深度学习中的正则化技术:防止过拟合的策略
深度学习模型因其强大的特征提取能力而广受关注,但复杂的网络结构也容易陷入过拟合的困境。本文将探讨如何通过正则化技术来缓解这一问题,包括L1和L2正则化、Dropout、数据增强以及早停等方法。文章将详细解释每种技术的工作原理,并讨论它们在实际应用中的效果与挑战。
|
10天前
|
机器学习/深度学习 算法 PyTorch
深度学习在人脸识别技术中的最新进展
深度学习在人脸识别技术中的最新进展
|
15天前
|
机器学习/深度学习 传感器 自动驾驶
探讨深度学习在自动驾驶中的应用,以及它如何推动自动驾驶技术的发展
【6月更文挑战第13天】本文探讨了深度学习在自动驾驶汽车中的核心应用,涉及环境感知、决策规划和控制执行。深度学习通过模拟神经元工作方式处理传感器数据,如使用CNN和RNN识别图像和雷达信息。此外,它助力智能决策规划和精确控制执行。然而,数据需求、可解释性和实时性是当前挑战,可通过数据增强、规则方法、模型压缩等手段解决。随着技术发展,深度学习将进一步提升自动驾驶性能,并应对安全和隐私挑战。
34 5
|
6天前
|
机器学习/深度学习
深度学习中的正则化技术
【6月更文挑战第21天】在深度学习领域,正则化技术是防止模型过拟合的重要手段。本文将深入探讨几种常见的正则化方法,包括L1和L2正则化、Dropout、以及数据增强等,并分析它们在实际应用中的效果与挑战。通过比较不同正则化策略的优劣,我们旨在为深度学习研究者和实践者提供实用的指导和建议。
|
7天前
|
机器学习/深度学习 自动驾驶 安全
基于深度学习的图像识别技术在自动驾驶汽车中的应用
【5月更文挑战第52天】 随着人工智能技术的飞速发展,特别是深度学习在图像处理和模式识别领域取得的突破性进展,自动驾驶汽车技术迎来了前所未有的发展机遇。本文旨在探讨基于深度学习的图像识别技术如何赋能自动驾驶系统,提升其在复杂交通环境中的感知能力、决策效率和安全性。通过对当前主流的深度学习模型进行分析,并结合最新的研究成果,文章详细阐述了卷积神经网络(CNN)在车辆检测、行人识别和路标理解等方面的应用实例,同时指出了现有技术的局限性和未来可能的发展趋势。
|
8天前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别技术在自动驾驶系统中的应用
【5月更文挑战第50天】 随着人工智能技术的迅猛发展,深度学习已成为推动多个领域进步的关键力量。特别是在图像识别领域,深度学习模型如卷积神经网络(CNN)已表现出超越传统算法的性能。本文将探讨深度学习技术在自动驾驶系统中图像识别的实际应用,分析其在提高道路安全性和车辆自主性方面的潜力,并讨论面临的主要挑战及未来的发展方向。
|
10天前
|
机器学习/深度学习 人工智能 算法
【机器学习】深度探索:从基础概念到深度学习关键技术的全面解析——梯度下降、激活函数、正则化与批量归一化
【机器学习】深度探索:从基础概念到深度学习关键技术的全面解析——梯度下降、激活函数、正则化与批量归一化
19 3
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
智能时代的引擎:深度学习与人工智能的未来
【6月更文挑战第13天】本文探讨了深度学习在推动人工智能发展中的核心作用,分析了其基本原理、关键技术和未来趋势。通过对深度学习模型的深入剖析,揭示了其在图像识别、自然语言处理等领域的应用潜力,并讨论了面临的挑战与机遇。
|
13天前
|
机器学习/深度学习 搜索推荐 算法
深度学习技术在智能医疗中的应用与前景
在当今信息时代,深度学习技术在智能医疗领域扮演着越来越重要的角色。本文将探讨深度学习技术在医疗影像诊断、疾病预测和个性化治疗等方面的应用,并展望其未来在智能医疗领域的发展前景。
16 1
|
19天前
|
机器学习/深度学习 人工智能 自然语言处理
智能时代的引擎:深度学习技术解析
【6月更文挑战第8天】本文深入探讨了深度学习技术,一种基于人工神经网络的机器学习方法。我们将从其基本原理出发,分析其在数据处理、特征提取和模式识别方面的强大能力。文章将通过具体案例,展示深度学习在图像识别、自然语言处理等领域的应用,并讨论其面临的挑战与未来发展方向。