聊一聊MNN在端智能生态中的应用-阿里云开发者社区

开发者社区> 新零售淘系技术> 正文

聊一聊MNN在端智能生态中的应用

简介: MNN推理引擎联合优酷体育、陌陌推出最新玩法!

前言

2019年5月,淘系技术开源了深度学习推理引擎MNN,加入到人工智能开源社区中来。自打开源起,MNN就一直是开源社区的性能标杆之一,是众多后来者的挑战的目标。这固然是来自行业的认可,却也拉开了推理引擎间的性能军备竞赛。这或多或少,背离了我们的初心 —— 人工智能只是工具,靠比拼工具在一时一地的优劣,不能帮助我们繁荣AI应用生态。

帮助MNN不断成长的,除了我们在性能上的不断压榨,还有众多场景的哺育。MNN支撑着阿里巴巴众多的人工智能应用,从电商购物到视频直播,从手机应用到智能汽车;同时,也有越来越多的企业选择MNN,通过人工智能来提升工作能效、优化用户体验。是这些应用,而不是PPT上的性能数据,在你我不经意之间,改变了我们的生活。

为了走出性能内卷怪圈,为了给生态引一泓清流,MNN会陆续为你介绍我们在人工智能应用上的探索。这里的「我们」,不只是阿里巴巴,也包括身为MNN用户的你。

优酷体育:宅家街舞AI私教?!

今年的疫情对许多行业都产生了深远的影响,这其中就包括运动健身。宅家胡吃海塞,不能去健身房挥汗如雨,沉积的脂肪都堆在了大腿和肚腩上。俗话说,三月不减肥,四月徒伤悲,五月不减肥,六月徒伤悲…就算宅家,也不能被封印在床头!生命!在于运动!

然后你看了看家里的跑步机。

image.png

是这样?

1601178308215-fc3d6442-7f47-4336-b7ba-8b47cf367819.gif

或者是这样?

除了器械,家庭健身需要专业的运动指导,更需要优质的内容,让运动本身不再乏味和无趣。优酷体育AI操房,作为中国首家家庭智能操房平台,连接了硬件产商、健身机构和运动达人,通过游戏互动,带你玩转运动 —— AI操房通过摄像头捕捉用户动作,通过算法实现动作量化分析,再结合上游戏化的方式,把反馈投屏到电视上,让用户的跳操不再枯燥乏味。

image.png

为了指导用户做出动作并打分,我们要先根据原始视频设定动作示意和打分标准。运营同学会在AI操房的后台,从原始视频中选出关键帧,根据视频骨骼点信息生成动作示意图和描述文件。

image.png

在进入操练前,动作描述文件会和视频一同下载下来。在视频播放的同时,摄像头会捕捉用户的动作。关键帧的前后一段时间都会作为对应动作的得分区间。我们会在得分区间内持续比较用户和视频的动作差异,给出miss、good、perfect等反馈,并打出分数。区间内的最高得分会保留为动作的最终得分,参与总得分的计算。

1601256932169-0c027fb5-c3fb-4ca4-ac62-4e4f71922309.gif

这样,就算宅在家里,也能练起街舞了。谁说下一届「这!就是街舞」的冠军,就不能是你呢?

整套方案基于平台化思维,分为前端用户流程和动作编辑后台,整套流程完全开放,可以提供给健身机构或者KOL,产出定制化的AI操房,创造更多的玩法。整套方案还可以无缝迁移到OTT,为OTT用户提供服务。

有意向与优酷体育进行合作的智能硬件产商、科技和AI算法平台、健身机构和健身内容创作者们,请发邮件至:zr162261@alibaba-inc.com ,与优酷体育共创AI健身操房,做大!做强!

陌陌:直播互动「心」姿势

陌陌在人脸识别、人脸关键点、表情识别、手势识别、身体关键点算法上,有长足的积累。在直播中,陌陌基于人脸识别、人脸关键点,加上渲染、磨皮、美白等技术,为主播实现美颜、眼妆、贴纸等一系列特效;在拍摄器里,陌陌基于人脸关键点,来识别表情和睁闭眼,实现了一系列的特效玩法,比如眨眼识别的眨眼星星特效、嘟嘴识别的吹蒲公英、吹泡泡等。

最初,陌陌并没有使用MNN推理引擎,由于客户端上人脸检测、人脸关键点等模型推理和特效渲染都需要占用大量CPU和内存,CPU和内存成为了更多模型和特效应用的瓶颈。在全面升级到MNN推理引擎之后,推理速度和内存占用上都有了明显的优化。这样,客户端上就可以放心添加更多功能模块了。

image.png

为了增加主播和粉丝的互动,让直播更加有趣,陌陌在直播中推出了送礼物比心的互动玩法 —— 当粉丝给主播送出礼物后,主播可以做出比心手势表示对粉丝的感谢,在客户端识别出手势后,会触发粉丝送礼物的特效。

image.png

技术小哥哥素颜出镜比心

功能上线后,使用过的主播都夸效果好,直播间的粉丝数有明显的提升,主播和粉丝之间的互动更多了,粉丝刷礼物也更积极。

后续,陌陌还会在直播间和拍摄器里设计出更多好玩的特效和互动,期待你的体验~

智能应用长征

人工智能可以优化原有流程的体验,也可以开创出全新的玩法,但目前,智能应用的开发流程还很长,整体门槛比较高。

image.png

要打造一款有用、有趣的人工智能应用,你需要对人工智能和业务场景都有必要的认知,才能将有效融合两者。同时,你需要为模型训练收集大量的数据,并对数据做出必要的清洗和标注。之后,在众多模型结构中找到适合业务的,经历漫长的训练、验证迭代,得到模型后还需要做必要的优化、压缩。

产出模型并不是端侧AI应用的终点,恰恰是起点。以视觉类应用为例,可能90%的工作量都在模型训练之后 —— 适配iOS、Android的相机输入,图片增强特征、裁切、转换,推理结果过滤、提炼,结合物料渲染上屏。工程链路很长,涉及到的移动端编程、图片处理、渲染绘制,还分别要求不同的专业技能。

# 预告

如何降低人工智能应用的门槛、提升人工智能的研发效率,想了解淘系的实践经验吗?

号外:MNN官网全新上线,下周,将有重磅消息推出,敬请期待哦~也可以进入MNN官网,提前尝鲜。

也可以添加淘大橙微信(TaoTech001)随时获得最新资讯!!!

image.png

关注「淘系技术」微信公众号,一个有温度有内容的技术社区~

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

淘系技术部隶旗下包含淘宝技术、天猫技术、农村淘宝技术、闲鱼、iHome等团队和业务,是一支是具有商业和技术双重基因的螺旋体。 我们致力于成为全球最懂商业的技术创新团队,打造消费者和商家一体化的新零售智能商业平台,创新商业赛道。随着新零售业务的持续探索与快速发展,我们不断吸引用户增长、机器学习、视觉算法、音视频通信、数字媒体、端侧智能等领域全球顶尖专业人才加入,让科技引领面向未来的商业创新和进步。欢迎投递简历至ruoqi.zlj@taobao.com

官方博客
淘系开源,欢迎star哟