虎牙LiveTech:不仅仅是智能弹幕,还有开放平台和炫酷AI数字人-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

虎牙LiveTech:不仅仅是智能弹幕,还有开放平台和炫酷AI数字人

简介: 说起虎牙,很多人可能会想到他们将智能弹幕技术用于直播。但是在今年的LiveTech发布会上,虎牙还露了好几手。本次发布会上,虎牙推出了基于小程序和二十多项AI及直播技术能力为核心的开放平台,同时也发布了AI数字人和相关开放平台HERO。这些举动都在说明,虎牙意图用新技术改变行业生态。
+关注继续查看

昨日,虎牙LiveTech发布会在广州举行。发布会上,虎牙发布了国内第一个和直播有关的技术平台,公开了其在AI方面的技术能力集成的最新成果—AI数字人。除了智能弹幕这样的AI技术,虎牙通过发布会,无疑展示了自身用技术驱动直播行业发展升级的意图和能力。


 二十多项AI等能力开放,虎牙开放平台发布 


微信图片_20211202075710.jpg


虎牙技术开放平台是发布会的首要内容。这是国内首个以直播为核心的开放平台。在开放平台上,开发者可以使用各类API,SDK和其他工具,从而开发出和直播有关的小程序。总体而言,平台内容涵括核心的直播技术、开发工具、数据服务等基础设施,以及市场推广、运营活动、应用商店等商业配套服务。 


 开发者可以使用哪些开放平台上的技术呢?据介绍,开放平台上提供了多项直播相关的前后端、AI、通讯连接、程序测试和打包等方面的工具和服务。以AI方面的能力为例,虎牙开放平台提供的AI技术能力包括但不限于:图像识别、动作捕捉、人脸识别、视频理解、语音识别、语音合成等。这些技术都以实际的应用接口形式呈现。目前这些技术已经在虎牙的直播上使用,如使用图像识别相关的技术,让主播的身体轮廓更好地融合在直播画面中。以及使用图像生成方面的技术,将特定人物的脸和主播脸结合,并实现实时的表情变换等。而开发者现在也可以利用这些技术,不需要关注底层实现和直播技术上的问题,而去开发新的应用。


微信图片_20211202075851.jpg


当开发者有了这些技术后,只要根据平台的使用流程,就可以完成相关应用的构建、测试、打包和发布流程。最终,发布的应用会在平台提供的小程序商店中提供给主播和用户购买,从而实现开发者的盈利。在整个过程中,开发者关注用户的需求和开发,直播技术和其他基础服务则由平台提供。


微信图片_20211202075913.jpg


为了让开放平台的能力和开发者结合,虎牙提出了以小程序为载体的方式。具体而言,在拥有了这些技术能力之后,开发者就可以在虎牙的平台上进行小程序的开发,并让这些小程序给主播的直播内容和形式带来新的创新。例如,主播可使用陪伴宠物这一小程序,让虚拟的角色出现在直播中。这一虚拟形象可以捕捉主播的语音和动作,并作出相应的反馈(如跳舞)。


  此外,小程序还可以和现实中的物理硬件,甚至是IoT设备打通,实现观众用小程序发指令,对主播的直播进行控制。比如说,一些农牧产品生产商可以打开直播,让观众看到饲养家禽的过程。感兴趣的观众可以发出指令,让养鸡场机器喂鸡。此外,还有观众和主播互动的游戏等。


微信图片_20211202075938.jpg

直播养鸡时,观众可以和被直播的养鸡场互动,甚至在直播间操作喂食


微信图片_20211202080002.jpg


这一案例正是发布会上虎牙开放平台通过小程序接入不同领域的主播和开发者,让外部开发技术和平台上的众多主播需求结合,从而实现新的应用创新。


 小程序开发后,开发者需要考虑在不同环境和终端下的运行问题。为了让开发者能够实现一次开发后的跨终端运行,除了技术能力外,虎牙提供了相关,能够实现多个运行环境下的「一键测试」以及最终开发成果的「一键打包」。 目前,虎牙已将开放平台提供给开发者,在未来三年,虎牙宣布将会投入十亿人民币的资源,启动星火计划,用于培育生态。


微信图片_20211202080028.jpg


AI数字人亮眼,实时模拟真人表情动作 


在开放平台之后,虎牙发布了另一项重要成果,名为AI数字人。这是一个通过模拟真人主播的方式,实现主播在不同时空,背景下的新直播创意。具体而言,虚拟数字主播是模拟了真人主播的形象,但是本身是通过AI构建的。构建AI数字人的过程分为建模、驱动和渲染三个步骤。


微信图片_20211202080056.jpg


首先,机器需要多模态的数据输入,通过输入真人的面部表情,声音等信息,由模型构建起一个带有标准骨骼和肌肉的虚拟形象来。着,使用相关算法学习这些特征,并在其中赋予AI数字人微表情。最后在渲染阶段,让AI数字人在实时光解算和实时AR渲染的基础上,最终实现动态的形象构建。


  在技术层面上,AI数字人使用了多种技术,包括3D重建、人脸结构化、动作迁移和实时渲染、AR融合等。在建模方面,虎牙扫描了2000万面超高精度拓扑的模型,通过肌肉和骨骼绑定后,可驱动的表情面数超过4万个。在肢体上骨骼动作支持超过70个自由度,可还原日常动作及跳舞等才艺。


微信图片_20211202080118.jpg


在发布会演示上,AI数字人“晚玉”可以根据需要实时更换服装,在渲染速度和质量上都达到了一定的效果。此外,AI数字人还应用了语音合成和音画匹配方面的技术,使得AI数字人可以合成真人声音,声音也能够匹配口型,表情和动作。 推出AI数字人,无疑是虎牙在直播内容上的新尝试和探索。


据介绍,AI数字人拓展了真人主播的活动范围和完成的工作。例如,真人主播无法完成的任务和工作(如极限运动等)可以通过AI数字人的模拟完成。而AI数字人可以发展出和真人不一样的外貌,性格,让人们看到真人主播不为人知的另一面。这充实现有的直播内容,使得直播娱乐变得更有趣。 


微信图片_20211202080152.jpg


除了真人形象外,AI数字人的技术还可以迁移到构建其他的角色中去。例如,虎牙和腾讯合作,构建出虚拟的人物形象。除此之外,虎牙宣布,将会开放这一技术能力,形成HERO平台,未来让众多主播都可以定制自己的虚拟形象,也让更多的开发者和企业加入到相关的工作中。


微信图片_20211202080213.jpg


而人脸识别和图像生成方面的AI技术,也在虎牙的其他一些应用中得到呈现。例如,在发布会展台上,虎牙展示了其在人脸识别和动态图像生成方面的研究成果。观众可坐在摄像头前,让机器捕捉其面部信息,然后将其脸部特征和其他名人融合,最终生成带有新风格的面孔。生成的面部是实时动态的,还可以根据用户表情的变化而发生变化。这些例子,都说明了虎牙在计算机视觉方面的研究能力。


 直播新业态,虎牙积极探索 


在发布会上,虎牙CEO董荣杰表达了他对未来直播行业的看法和理解。


微信图片_20211202080251.jpg


他认为,直播目前仍仍处于发展阶段,当5G时代到来,没有流量和带宽限制的人们会更加需要直播,因此,行业仍有很大的发展空间。 


在另一方面,直播领域,特别是主播的需求依然得不到满足,通过技术驱动直播内容的革新,疑是虎牙在AI时代的到来所做的努力而最终,虎牙希望能够将线下内容更好地扩展到线上直播中,这就需要开发者能够加入其中,一起打造一个繁荣的直播生态体系。 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9488 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
2462 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9049 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13168 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4008 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21895 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6886 0
1653
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载