嘉宾|吕承飞(吕行)
出品|InfoQ&阿里巴巴新零售淘系技术部
嘉宾简介：吕承飞（花名：吕行），阿里巴巴资深无线开发专家。2013 年加入淘宝，经历手机淘宝超级 App 技术演化完整过程，主导手淘 iOS 架构升级、架构治理、稳定性以及性能等相关工作。2017 年开始端侧 AI 方向探索，现负责端智能团队，构建开源端侧推理引擎 MNN，淘宝 AR 技术框架和美妆 AR 等创新应用，端计算技术框架和搜索推荐等创新应用。
前言
人工智能发展已进入“落地为王”阶段，端侧 AI 相比云侧 AI，具有低延时、保护数据隐私、节省云端计算资源等优势，现已成为端侧技术新热点，并且紧贴用户在 AR 特效、搜索推荐等方面有诸多创新应用。近日，阿里巴巴淘系技术部资深无线开发专家吕承飞（吕行）受 InfoQ 邀约，为大家介绍端侧 AI 的现状以及在阿里的实践。本文将回顾端侧 AI 的发展过程，以阿里端侧 AI 发展为例展望端侧 AI 的未来。
在将于 7 月份举行的 GMTC 北京 2020 上，吕承飞（吕行）老师作为“端侧 AI ”的专题出品人，策划了端侧 AI 专题的方向，将为大家介绍前沿的端侧 AI 创新应用、端侧 AI 技术、端侧 AI 开放能力，让大家在听完之后能结合自己业务快速上手，创造无限可能。
端侧 AI 介绍和发展回顾
▐ 端侧 AI 正从尝试应⽤变成驱动业务创新的核⼼推动⼒之⼀
AI 在智能⼿机和智能设备中应⽤越来越广泛，⽐如短视频 App 中的 AR 特效、⼈脸⻔禁等。
随着端上算⼒不断增强和算法快速发展，特别是模型压缩技术和⼩模型算法设计不断成熟，在端侧运⾏算法模型成为可能。
端侧 AI 简单说就是在终端设备做机器学习算法应⽤，这⾥“终端设备”主要是指⼿机，当然也包括不断出现的各种智能设备和 IoT 设备。⽬前，端侧 AI 主要是推理运⾏，当然也慢慢出现了在终端设备做训练，⽐如联合学习、迁移学习等。相较于云侧 AI，端侧 AI 具有低延时、兼顾数据隐私、节省云端计算资源，以及不依赖⽹络提供稳定服务等显著优势。
自 2017 年以来，**端侧 AI 在底层技术和业务应⽤等⽅⾯都取得了快速发展，逐渐从尝试性应⽤变成驱动业务创新的核⼼推动⼒之⼀。
**
基于端侧 AI 的⼈脸检测、⼈体姿态、⼿势等算法补⻬了 AR 特效中的交互能⼒，从⽽可以实现各种有趣好玩的 AR 应⽤，且在短视频 App 中⼴泛应⽤。基于端侧 AI 的实时⽤户感知和理解能⼒，对于搜索推荐、安全⻛控、系统优化等业务都有帮助。在智能硬件 IoT 领域、⼈脸考勤机、 智能⻔禁锁，以及⻋载 ADAS 等应⽤也都跟端侧 AI 相关。
从技术发展来看：
端侧推理引擎逐步成熟，基本解决了算法模型在端侧能不能跑的问题，⽽且国内框架相⽐国外具有普遍的优势。国内开源的 NCNN、MNN、MACE 以及 Paddle-Lite 等经过不断打磨优化已经做的⾮常不错。国外 TFLite 和 Pytorch 也开始重视端侧推理，重点投⼊，性能等提升明显。
除推理引擎之外，端侧 AI 应⽤和部署仍存在较⾼⻔槛，⾏业公司逐步有⼀些尝试。⽐如，阿⾥淘系在 2020 年 3 ⽉开放 MNNKit，包含⼈脸检测、⼿势识别等算法能⼒。百度和⼩⽶也有计划开源多种算法模型，⽐如，百度最近开源的含⼝罩⼈脸检测及分类模型。另外，华为通过⼀站式开发平台 ModelArts 希望实现端、边、云全场景的 AI 部署。
总的来说，虽然端侧 AI ⽬前仍处于发展初期，但是相关应⽤已经展示出其巨⼤潜⼒，希望更多⼈能够了解和应⽤这项技术。这也是我们本次⼤会端侧 AI 专题的价值，通过介绍端侧 AI 最新技术进展和⾏业案例，给⼴⼤开发人员提供参考，从⽽使他们能结合⾃⼰业务场景进⾏探索和尝试，获得业务突破。
阿⾥端侧 AI 发展状况
▐ 端侧 AI 业务应⽤场景逐步增多并取得明确价值，开源推理引擎 MNN
最早从 2016 年开始公司内部就有业务尝试端侧 AI 能⼒，并在 2017 年开始有计划的建设和探索端侧 AI ⽅向，包括我⾃⼰和所在的 MNN 团队，也是从那个时候开始尝试端侧 AI ，经过这⼏年的发展，端侧 AI 已经成为移动 App 的基础能⼒，助⼒业务发展和创新突破，并且也取得了不错的业务结果。
⽬前，公司⾥绝⼤多数移动 App 都有使⽤端侧 AI，2019 年初统计使⽤ MNN 的 App 就超过 20 个。以⼿淘为例分享⼏个数据：10 多个场景应⽤，超过 25 个模型运⾏，每天运⾏机器学习和深度学习算法次数超过 500 亿次。
应⽤场景
- ⼿淘信息流推荐
基于端侧 AI 技术可以实现更加实时的⽤户意图识别，做出更加精准的内容推荐，甚⾄在端上训练实现“千⼈千模”，有效提升了原有个性化推荐技术，该技术已在 2019 年双 11 中⼤规模应⽤并取得不错业务结果。对信息流的点击量和 GMV 都带来了明显提升。 - ⼿淘美妆 AR
基于端侧 AI 的⼈脸检测能⼒结合 AR 应⽤可以给消费者更加真实的购物体验。2019 年双 11 美妆⾏业推出的 AR 在线试妆功能，能够让⽤户模拟上妆，有效提升了线上购物体验。
除此之外，⽀付宝扫福、⼿淘拍⽴淘、智能 Push 以及闲⻥智能发布等都是端侧 AI 的典型应⽤。
技术建设
总体来说，因为我们起步早，体系也相对完整，技术结果显著。基本已经解决算法模型在端侧能不能跑以及跑得好、跑得快等问题，现在我们正在解决规模化应⽤和业务创新快速验证的问题。具体从如下⼏⽅⾯简单来说：
- 端侧推理引擎
我们有开源推理引擎 MNN，以及⽀付宝定制化引擎 xNN，在性能优化、 异构多机型适配，模型压缩等⽅⾯有⽐较多积累，⽬前也已具备训练能⼒并⽀撑业务端上训练任务。
- 端 AI 算法能⼒
公司各算法团队已经沉淀⼈脸检测、⼿势识别、⼈体⻣骼、OCR 等常⽤能⼒，并且构建统⼀开箱即⽤算法集⽀撑业务快速接⼊应⽤。 - 端 AI ⼯作台和研发体系
淘系技术团队正在探索和建设⼀站式端侧 AI ⼯作平台"MNN⼯作台"，降低端侧 AI 应⽤⻔槛，实现业务快速创新试错。
端侧 AI 未来展望
▐ 端侧 AI 仍处于⼤规模应⽤爆发前夜，未来结合 AR、IoT 等技术迎来更⼤发展
端侧 AI 的应⽤会向更⼤范围、更多领域铺开并切实给业务带来价值。从⼤公司尝鲜到普通公司逐步推开，它会真正成为⼀项基础能⼒；从视觉算法到⼤数据、⾃然语⾔处理、语⾳等更多算法领域的应用，例如：⾕歌发布的 ALBERT 在移动端部署应⽤已经成为可能；从智能硬件到 IoT 设备，近来 TinyML 技术也在不断成熟，正在成为新的蓝海，具体可以参⻅ TinyML2020 有关内容。
端侧 AI 相⽐云侧 AI ⼀站式机器学习平台整体技术体系还不够完善，针对⾮专业算法同学如何能够⾃主解决数据和算法问题产出模型，针对⼤前端和算法同学如何提⾼协同效率等些问题的解决势必会进⼀步推动整个端侧 AI 的发展。淘系内部基于 MNN 正在构建端侧 AI 的完整研发体系，包括端 AI 运⾏时 +⼯作台 + 服务端，后续也会逐步向业界开放，⼀起让端侧 AI 获得更⼤发展。
5G 技术已经到来，我觉得 5G 技术的发展也会促进端侧 AI 的发展。举例来说，5G 来了，⾳视频数据会进⼀步膨胀，当⽹络不是瓶颈，服务端算⼒就会成为瓶颈，那么本地的视频内容理解、预处理就显得尤为重要，更实时、更低成本的⽅案肯定会被应⽤，业界有些公司已经开始⾏动。结合 AR 来说，端侧 AI 补充了 AR 的交互能⼒，5G 补充了 AR ⽹络传输能⼒，让⾼质量的 AR 素材传输变成可能。那么，结合 5G + 端侧 AI + AR 技术可能会出现⼀些有意思的应⽤。
总的来说，端侧 AI 经过⼏年发展，虽然在技术建设和业务应⽤都有了⼀些进展，但仍处于⼤规模应⽤爆发前夜。随着算⼒和算法不断进步，应⽤⻔槛的不断降低，结合 AR、视频、5G 以及 IoT 等技术，端侧 AI 必将迎来更⼤的发展。
We are hiring
淘宝基础平台部-端智能团队欢迎移动端计算优化工程师和推理引擎架构师的加入。对新技术感兴趣，善于创新突破，渴望用新技术给用户带来创新体验的同学请联系我们。
简历投递至吕行：chengfei.lcf@alibaba-inc.com
关注「淘系技术」微信公众号，一个有温度有内容的技术社区~
