淘宝直播在智能互动领域的探索及落地-阿里云开发者社区

开发者社区> 新零售淘系技术> 正文

淘宝直播在智能互动领域的探索及落地

简介: 随着带宽成本的降低和端上算力的提升,在直播、短视频中基于流的互动玩法也将越来越丰富;无论是基于人脸、手势、分割算法的智能化贴纸,还是结合算法的小游戏有了越来越好的舞台;业界短视频和直播主要针对的娱乐性的场景,更是将娱乐化的玩法用到了极致,例如抖音的仿flappy bird潜水艇小游戏,最气的漫画风格的拍摄玩法都引爆成为热点。抖音有PC的玩法生产工具EffectCreater生产工具和移动端的玩法社区特效君,已经打打造了一个支持数以万计的设计师的生态圈。

滚动.gif

背景

随着带宽成本的降低和端上算力的提升,在直播、短视频中基于流的互动玩法也将越来越丰富;无论是基于人脸、手势、分割算法的智能化贴纸,还是结合算法的小游戏有了越来越好的舞台;业界短视频和直播主要针对的娱乐性的场景,更是将娱乐化的玩法用到了极致,例如抖音的仿flappy bird潜水艇小游戏,最气的漫画风格的拍摄玩法都引爆成为热点。抖音有PC的玩法生产工具EffectCreater生产工具和移动端的玩法社区特效君,已经打打造了一个支持数以万计的设计师的生态圈。

淘宝直播和短视频更偏向电商场景,我们也在探索这些玩法在直播和短视频中的应用,对提升直播间停留时长,丰富直播间和短视频内容;其中在视频流里面渲染和算法调用几乎都是Native的能力,如果用iOS和Android上分别实现,性能较难把控,开发成本、上线和下线成本高,必须在活动前很长时间开发,然后随着版本发版,活动结束后为了减少包大小,又需要将代码删除,玩法也无法沉淀。

跨端方案成为唯一选择,为了提高运营、设计和玩法开发人员的制作效率,我们也必须有配套的素材生产工具和玩法编辑工具,解决素材制作-效果调试和预览-素材上传-素材投放全链路的问题,同时我们也希望玩法能结合权益产生更大价值。

跨平台渲染计算引擎

首先在底层渲染层,我们开发了基于C++的跨平台渲染计算引擎RACE,除了为传统的视频前处理、画质增强、美颜美型美妆外,也提供了动画系统、玩法系统等游戏化的能力,在一个渲染引擎里面将媒体渲染和游戏化渲染结合起来。

我们采用了游戏行业经典的ECS系统,加以简化和改进,来解决渲染关系,渲染逻辑和玩法逻辑的组织。

image.png
image.png

玩法往往需要多个算法的配合,同时视频美颜、前处理等等也需要算法的能力,端上算力有限,合理的算力管理调度也必不可少,所以我们开发了PixelAI统一的算法计算框架,一个是用来进行算法生命周期模型管理、还有算法调度,性能监控,同时也提供了多平台的算法运行时统一的基建设施,这样算法同学只要做好模型推理和算法实现,所有工程化的东西一站式解决。

脚本系统设计

在玩法方面,我们希望玩法可以动态下发,这就需要能用脚本去做玩法,我们希望将渲染计算的能力全部导出到脚本系统里面,这样就可以在脚本里面利用底层强大的能力;同时玩法里面可以方便的调用业务接口,做好玩法和业务的关联,业务逻辑主要在Weex和H5环境,同时我们也希望脚本能力能够使用在编辑器上,供跨端的前端框架如Electron 或Flutter直接调用,这样节省了大量的编辑器开发工作量。

image.png

我们在不同JS引擎上封装了一层JS Wrapper层,抹平不同JS引擎的JSBinding问题,利用LLVM分析c++头文件,利用python工具编写JSBinding模板全自动化导出C++到JS的接口;对原有的渲染计算框没有做任何修改,这样在不需要玩法的情况下,不影响稳定性;

同时我们也导出了一份OpenGL到WebGL的接口,这样完全可以在JS侧能在视频流里面实现更丰富的渲染能力。

MediaAI素材玩法编辑器

编辑器我们和前端和设计师合作,采用Electron方案,编辑器预览和编辑窗口的显示核心由RACE渲染计算统一提供,Electron底层是NodeJS,NodeJS的JS引擎是V8,只要将RACE的JSBinding接口直接注入到V8里面,编辑就可以调用全部的RACE接口做窗口预览和编辑,这样编辑器开发就节省了大量的开发工作量;

编辑器中接入素材平台,运营和开发人员编辑好素材和玩法之后,上传到素材管理平台,由素材管理平台进行分发,玩法类由有相应权益的主播或者运营设置好参数,如玩法对应的权益,下载玩法到推流端或者播放端,在端上的JS环境中解析JS脚本,加载素材和玩法逻辑,渲染和计算部分底层统一由JS binding调用到跨平台的RACE引擎完成,完整链路如下:

image.png

编辑器既可以面向设计师制作各种人脸手势触发贴纸、视频文字模板等等,又可以面向前端开发者制作互动小游戏:

image.png
image.png

部分落地

春节期间淘宝直播推出的春节氛围:

未标题-1.gif

直播后面比较乱,利用分割算法来个背景模糊,或者来个抱抱宝宝的小怪兽:
image.png
1593491119755-b7627c3e-425f-43e6-af1a-c08328e86bd3.gif

商家希望主播和达人能够拍摄短视频对商品进行介绍推广,主播和达人也能够从短视频的购买中分佣,对广大中小主播和达人而言,将商品寄送到每个可能会推广的主播和达人成本高昂,我们360度的拍摄一个商品,然后利用主播可以用手势控制缩放旋转商品别介绍,这样就可以极低成本无接触式的生产商品推广短视频;

在直播连麦或者粉丝连麦中做个flappy bird的小游戏?或者主播在发放红包后,粉丝通过玩游戏通过游戏得分才能领取红包,这样既有趣,又将粉丝留在直播间;

未标题-2.gif

来点可爱又萌的美妆贴纸(原谅一个程序员全程友情出镜);

屏幕快照 2020-08-31 下午3.38.52.png

后记

一个好的媒体互动产品能给业务带来更多的活力,但往往需要创意设计师、算法、底层和业务开发共同完成,端上算力有限,特别是在淘宝直播,手淘短视频等场景下,其他业务已经占用了很高的性能,需要灵活高效的架构,很好的性能,针对高中低端机的分级体验。在电商场景下,挖掘更适合电商玩法的互动能给业务带来更大的价值,好玩的互动再跟权益绑定,为商家、主播提供更多更好玩的运营工具;在大促活动提供更有趣的玩法、日常活动里面提供更好的留存手段。

我们近期会新增很多的渲染能力和算法能力,打造好基础,这样才会更大的发挥大家的创意;我们近期也将举办一个素材设计比赛,激活大家的创造力,等配套工具更完善,我们也会将工具开放给外部的商家、主播等,打造更好玩的直播短视频生态。

淘系技术-多媒体生产团队

我们是淘系技术-多媒体生产团队,立足于手淘APP、淘宝直播,广泛服务于阿里云、钉钉、闲鱼、Lazada等各大业务,在视频剪辑、模板拍摄、特效渲染、视觉算法等各个方向都需要经验丰富的人才,Base地可选广州、杭州、北京。

报名邮箱📮:binghui.cbh@alibaba-inc.com

关注「淘系技术」微信公众号,一个有温度有内容的技术社区~

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

淘系技术部隶旗下包含淘宝技术、天猫技术、农村淘宝技术、闲鱼、iHome等团队和业务,是一支是具有商业和技术双重基因的螺旋体。 我们致力于成为全球最懂商业的技术创新团队,打造消费者和商家一体化的新零售智能商业平台,创新商业赛道。随着新零售业务的持续探索与快速发展,我们不断吸引用户增长、机器学习、视觉算法、音视频通信、数字媒体、端侧智能等领域全球顶尖专业人才加入,让科技引领面向未来的商业创新和进步。欢迎投递简历至ruoqi.zlj@taobao.com

官方博客
淘系开源,欢迎star哟