VR打造视觉盛宴,丰富精彩生活-阿里云开发者社区

开发者社区> 云迹九州> 正文

VR打造视觉盛宴,丰富精彩生活

简介: 优酷高级技术专家张天若在2018云栖大会·上海峰会中做了题为《VR视频技术打造视觉盛宴,助力互娱产业体验升级》的分享,就VR技术背景与优酷VR、VR视频技术、阿里云VR视频解决方案等方面的内容做了深入的分析。
+关注继续查看

优酷高级技术专家张天若在2018云栖大会·上海峰会中做了题为《VR视频技术打造视觉盛宴,助力互娱产业体验升级》的分享,就VR技术背景与优酷VR、VR视频技术、阿里云VR视频解决方案等方面的内容做了深入的分析。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频回顾
PPT下载请点击
以下是精彩视频内容整理:

WHY VR?

1

在观看普通视频时,在沉浸式VR的双目模式与单目裸眼360°全景视频模式相比之下,绝大多数人都会选择后者,主要有三个主要原因,一方面是VR视频 看起来会使人有眩晕感,其次就是交互操作比较困难,最后一方面就是画面也比较差。
VR视频本身就存在天然地体验不佳的问题,对于头显而言,屏幕与眼睛的距离太近,从而导致显示屏瑕疵会被放大。对双目而言,显示面积又太小,导致有效像素显示不够多,画质也比较模糊。正常人眼的余光大于是220度左右,但是典型的VR头显却只有90到110度,导致了观看的面积变小,由于VR需要传输360度的视频,传输带宽与解码编码能力都需要360度处理完成的,到传送到终端后VR视频还只挖其中一小块来显示,这就造成了带宽的浪费。所谓带宽浪费问题是由于显示面积占视频源面积太小所引起的,所以需要解决核心问题就要同时满足带宽与质量的需求,可利用转换视角来解决这个问题。

优酷VR的演进

自2016年优酷开始做VR视频,当时可以支持天猫魔盒,慢慢地在技术层面上开始支持4K和全景声模式。优酷VR主要是以各种直播场景来拉动用户,例如演唱会、体育赛事等内容。

对称投影如何节省带宽?

2

首先可以优化投影模型,依据内容类型的中部/四周面积占比进行调整;其次可以缩小传输面积,从360°缩小到180°,并对投影面进行进一步的优化;对于编解码算法也可以做很多优化,例如进行动态量化,也可以对非关键区域降清晰度;另外现在业界比较主流的方法是基于Tile的流切换,把一个视频分成很多块,有清楚的和不清楚的,没有观看的部分都
是模糊的,这样可以达到节省带宽的目的。

3

从技术层面来讲,视频可以同时传一个低码率的基础层和一个高码率的增强层,然后将增强层切分成很多小的方块,所以只有在被观看到的部分是高码率的增强层,其余部分都是低码率的基础层,也就是不同的方向用不同tile,这样平均可以节省50%左右的码率,但需要注意的是解码器、播放器需定制,并且转方向时会出现模糊一下的情况。

4

优酷所做的是沿用非对称投影的方式,将一个球投影在一个四棱锥上面,正面的方块保持最原始的分辨率,其他的所有面投影在一个小块上,这样一来实际视频里的中心绝大部分都是正面的,所以清晰度是有保证的。改进后的四棱锥方案可以节省70%以上的码率,并且支持通用解码器,但转方向时同样也会模糊一下。

5

可以看到VR视频的正面保持了原有的清晰度与分辨率,其他部分做了比例压缩以控制不同角度的清晰程度和带宽消耗。
非对称投影的流切换

6

原理很简单,在视角1的GOP位置发生视角切换时,只需要在视角2的GOP2位置把它切换过来,但实际上这样做也存在很多问题。

7

第一个问题就是它会慢,因为在视角1的GOP1进行视角切换,然后在视角2需要下载一个新视角GOP2,这样虽然观看者可能已经转头转换了视角,但是实际上观看到的还是老视角GOP1的视频内容,导致这段时间内观看的视频会模糊。更糟糕是再切换视角的时候GOP1视频内容已经播完,这时下载视角2的GOP2会比变卡,所以只能下载GOP3,这就导致模糊时间变长,这对于人的观感是极差的。所以可以用短切片做过度,只需要再切换时先过渡到短切片,然后用户就会观看到清晰的画面,之后再下载长界面进行过度,这样一来模糊时长就只会受短切片影响。

8

另一个问题就是卡顿问题,因为没有缓冲保护,所以引入视角预测算法,预测是否在GOP1进行视角切换,然后提前下载的时间点,增加了下载时长的情况下使得卡顿率得到优化。

9

前面两个问题无论如何都会出现模糊时长问题,只能尽量减少但不能消除,所以在这个环境下加入了超分辨算法,并且只有在切换视角的模糊时刻才会使用超分辨算法,所以整体的功耗发热等问题可以忽略不计。

端到端VR直播链路

10


在采集端无论是拍摄、收音或者是一些前期处理,都要推到云上后做多路模型映射、多路实时转码、状态检测与容灾系统以及视频的存储,最后推到播放端,并且不同的端有不同的播放能力。采集端支持多台摄像机的实时画面采集系统、现场导播和多机位切换,全面支持传统的2D直播信号、图片、三维模型嵌入VR视频,并做了VR体验的加法。并具有现场实时多维度的图像处理增强能力,包含锐化、降噪、HDR等画质增强技术,支持端到端全景声解决方案,通过360度音频体验进一步加强沉浸感。
在云端上支持基于异构计算的映射编码系统,支持一路进多路出的高并发映射编码,结合标准的非对称映射编码技术,最高可节省70%以上码率,用3M的码率即可看高清4K视频,最高可支持8K的VR片源直播。将原始8K片源实时映射到多路4K的视角信号进行编码,一键创建直播场次,支持基于OSS可靠存储的有序VR内容管理,并能够快速的直播转点播能力。
在客户端上实现了全面覆盖Android、IOS平台,针对主流VR头显适配优化,支持2D/3D、180/360度VR格式,以及丰富的映射模型终端渲染,结合非对称映射编码技术,根据用户视角进⾏多方向动态流瞬切,比秒级切换更快,并且支持手机姿态和手势的视角控制,即可手势缩放视角。

阿里云VR视频解决方案

VR视频提供的开放服务能力可分为几部分,首先从体验角度来讲,支持180°和360°两种VR视频,以及 2D和3D两种播放格式,分辨率主推4K,但也支持8K。使用的技术包括VR国标提案采纳的领先技术非对称映射技术,以及多模型场景适配、动态切流等技术。依托着优酷的大量现场直播的经验,支持专业级、消费级设备的一键直播,并且全终端SDK集成适配验证已达3亿次。对于全球CDN节点、可视化监控 、运营、存储安全以及防盗链加密等要求都与阿里云相配适。典型场景有live直播,包括演唱会、生日会以及LiveHouse等,外景直播包括体育赛事和新闻现场等,以及秀场直播和游戏直播等场景。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6892 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
2822 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4462 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7745 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9416 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5450 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2133 0
+关注
云迹九州
行走在路上的小小蚂蚁
112
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载