眼球追踪技术对于VR来说,可能就像鼠标之于windows系统一样。
虚拟现实作为近两年刚刚兴起的行业越来越受到创业者的亲赖,仅仅去年一年,国内宣布进入VR领域的公司就有数百家,其中不乏腾讯、乐视、爱奇艺等互联网巨头。并且大部分从业者都认为2016年将成为VR元年,开始进入高速发展阶段。
VR之所以备受瞩目,主要因为它可以模拟真实的场景,让人在虚拟的世界里得到感官的满足。随着人们对VR体验诉求的提升,这种感官体验会越来越接近现实的感受,在此过程中眼球追踪技术将成为必不可少的应用模块。目前已有先驱者开始尝试通过眼球追踪技术解决VR领域目前所面临清晰度,沉浸感,自然交互等问题。
德国的一家眼球追踪技术公司在今年的CES大会上展示注视点渲染技术,国内的眼球追踪技术公司七鑫易维也在近期发布的视频短片中展示了眼球追踪在VR设备上的应用,其中局部渲染的功能将为VR带来一次质飞跃。目前VR硬件厂商所共同面对的问题便是用户的计算机硬件满足不了显示设备高清渲染的需求,以Oculus Rift为例,用户需要配备1000美金以上的计算机才能正常运行, Nvidia GeForce 970或AMD Radeon 290显卡的成本就达300美金,而这还仅仅是渲染1k的分辨率,要让渲染的分辨率匹配现实世界的分辨率,单眼必须渲染8K的分辨率,仅硬件配置这一项,就够厂商头疼的了。
为了解决这一问题,目前最被认可的方式便是结合眼球追踪的局部渲染技术。
人眼成像的过程中,中央凹视野(Foveal vision area)成像清晰,只覆盖视野1○~2○,视觉敏锐度高;周边视野(Peripheral vision field)成像是模糊的。
如图所示,当人眼在看屏幕H时,虽然整个屏幕都可以看到,但是只有B区域额中央凹视野是清晰的, AC区域成像模糊,因此在画面渲染过程中只需要渲染中央凹视野很小的范围,对周边视野区域进行模糊渲染。眼球转动,高清渲染区域随着注视点的变化而变化,这样既可以得到高清的视觉体验,又可降低GPU负荷,从而可以大幅的降低VR设备对硬件的要求。
除此之外,局部渲染的方案恰好与人眼成像特征相切合,无需人眼去主动适应屏幕,还会避免用眼过度造成的眼疲劳。
当然除了画面渲染方面,眼球追踪技术还可以大幅度提升VR设备的沉浸感。
人在观察周围景物时,并不总是要转头。人们习惯用眼球转动(而不是头部转动)去观察或追踪的角度范围叫做EOR(Eye-only range),EOR平均为±18°,垂直与水平方向的EOR有差异,平均水平EOR为±30°,垂直EOR为±12°。
也就是说,人们习惯通过眼球转动观察水平±30°,垂直±12°角度范围内的画面,而不是转头。但目前基于陀螺仪的交互方式,视角转换全部由头动完成,与现实中人们的习惯相违背,导致真实感缺乏,并且容易眩晕。眼球追踪技术恰好可以解决这一问题:用户可眼动与头动协同控制视角变化,真实重现现实中的视觉效果。同时,通过眼球转动与VR用户界面的交互可以直接用眼控控制菜单,触发操作,让人摆脱不自然的头部操作和晃动的画面。
眼球追踪技术在VR领域的重要性已经显而易见, Oculus的创始人Palmer Luckey也曾表示,眼部跟踪技术会成为VR技术未来的一个“重要组成部分”。不仅能实现注视点渲染技术,它还能用来创造一种深度传感,以创作出更好的用户界面。
众所周知光线在穿透透镜过程中会产生折射,所以目前的VR显示设备视角边缘都产生畸变和色差。Oculus正使用适用的光学优势试图修复该问题,但仅凭光学设计并无法完美解决,还需要在软件方面进行反畸变和色散的优化。现在已经有部分产品采用了以镜片中心为准的矫正方案,虽然有所成效,但是当人眼位置与镜片位置发生偏移时,反畸变的效果就会随之减弱。若让反畸变处理结合眼球追踪技术,将矫正方案调整为以人眼注视中心为准而不是镜片中心为准,矫正效果也会大幅提升。
眼球追踪技术对于VR来说就像鼠标于windows系统一样,它会让体验更完善,使用更方便,更容易被用户接受,虽然在VR设备上成功搭载眼球追踪技术的案例并不多,但是参照目前VR显示方案的快速迭代,可知眼球追踪技术将会成为VR设备最不可或缺的技术模块。