「镁客·请讲」七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

简介:

“行业内的公司既有被收购的,也有自己独立上市的,所以一切皆有可能吧。”

最近,微软在win 10 的最新版本中,加入了“眼球追踪”功能,通过凝视来完成一些基本的文本输入操作,而之所以会增加这个功能,微软表示想要帮助那些患有神经肌肉疾病的人,比如渐冻症患者,让他们直接用眼神和系统中各种元素交互。

眼球追踪技术似乎正在一点点侵入到我们的生活。去年,七鑫易维推出了全球首款VR眼球追踪模组aGlass,展现了他们的注视点渲染、眼控交互和眼动数据分析三大“黑科技”。

从最早的医疗辅具到PC上的辅助再到虚拟现实体验,今天我们就和七鑫易维的创始人黄通兵聊聊眼球追踪技术。

被收购or自己成长壮大,一切皆有可能

黄通兵是在2009年创建的七鑫易维,最初的时候他也没想到自己会出来创业。

在沈阳航空航天大学任职期间,黄通兵捣鼓了一些项目,然后无心插柳柳成荫,他成功地将自己做的软件卖给了一家军工企业。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(七鑫易维创始人&CEO黄通兵)

而黄通兵最先研究的是偏战斗机飞行器相关的眼控技术,“当时眼球追踪是飞行员军用瞄准头盔上一个在研的技术。”

卸下老师的身份后,黄通兵在工作上也遇到不少坑,但也正是那些路上的荆棘,有了今天的七鑫易维。

“其实公司成立之初,就是从这种穿戴式的头显出发,当时主要用于医疗辅具上,后来包括普通的台式一体机这些”,七鑫易维创建后不久,他们就成功地把眼控仪销售给ALS人群(渐冻人),并且与相关的残疾人协会进行合作。

而随着近几年VR/AR突然窜头,眼球追踪技术也看到走向消费级应用的曙光,七鑫易维自然不会错过这次机会。所以他们也顺势推出了首款VR眼球追踪模组aGlass。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(全球首款VR眼球追踪模组aGlass)

但是将这个有点黑科技概念的技术做到一个消费级水平并不是容易的事情,这也是为什么行业内会连续出现大公司收购技术创企的新闻:

2017年6月,苹果收购了专注于眼球追踪技术的德国公司SensoMotoric Instruments;

2016年12月,Facebook收购了眼球追踪公司The Eye Tribe;

2016年10月,谷歌收购了眼球追踪技术公司Eyefluence。

科技巨头们在收购的同时,与眼球追踪相关的一系列专利也悉数收入囊中,由此可见眼球追踪的技术门槛也非常高。

当问到七鑫易维之后会不会委身于大公司,黄通兵打了个‘马虎眼’,“行业内的公司既有被收购的,也有自己独立上市的,所以一切皆有可能吧。”

千人有千眼,先从基础的数据采集开始

眼球追踪技术的门槛高,直到现在技术本身也没有一个完整的解决方案,而眼球的数学模型目前也不完备。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

如黄通兵所说,“千人有千眼,每个人的眼睛都是独一无二的,有的眼睛斜视,有的眼睛近视或者远视,甚至还有一些眼部的疾病。同时戴眼镜的情况也特别多。在这种情况下,要做全眼球相关的数据也是一个难度大,且需要长期积累的事情。”

以数据采集为例,七鑫易维最初将眼球追踪技术应用到医疗领域的时候,就已经有计划地采集一些数据,尤其是比较特殊的一些眼球方面,“这么多年,我们一直在积累这方面的数据。”

当然,这也是七鑫易维和其他竞争对手相比所保有的优势。

从2014年到2016年,七鑫易维相继得到高通、中兴合创、国科等知名机构的投资,所以在芯片以及核心传感器方面,他们都会有全面的资源和国际巨头公司的背书。

基于此,七鑫易维的眼球追踪模组aGlass的DK1版本很快得到HTC Vive的官方认可,“作为首款眼球追踪配件,我们推出市场后更多的是起到教育市场和培育开发者的作用。”黄通兵介绍,他们正在准备DK2的版本。相比较之前主要面向开发者的版本,新的追踪模组推出的同时会附带相关的内容体验,包括一些基于眼动数据的个性化服务。

其实从镁客君的体验来看,很少能看到带有眼球追踪的VR内容,黄通兵也是心有戚戚,“内容体验方面目前还没有特别面向大众的应用推出,推出眼球追踪模块也是为了让开发者更快熟悉技术,只有不断出现新的内容支持眼球追踪技术,才可能让消费者真正去接受并且把这个东西玩起来。

等待眼球追踪技术来改写更自然的人机交互

虽然现阶段用眼球追踪交互的内容还比较少,但不可否认眼球追踪带来的是更加自然的人机交互体验,从这个角度来看,它非常适合于一些VR场景。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(眼控交互)

“在现有的一些VR游戏中,瞄准都是一个大难题,你得拿着方向键或者晃头,这些都没有只用眼球直接瞄准来的爽。”黄通兵认为,对于VR/AR来说,眼球追踪是最好的人机交互之一,而且相比语音、手势识别以及带有外设的其他交互方式,它也更加适合穿戴式的环境。

黄通兵说了几个实际应用的例子:比如体验一些VR游戏,眼睛看着目标就可以锁定,而在一些惊悚类的游戏中,可以设计出这样一种机制,当出现恐怖情节的时候,玩家闭上眼不敢看,就会触发掉血的机制。

问题来了,如果仅仅依靠眼球的运动来完成所有的交互,造成视觉疲劳会怎么办?

黄通兵表示,基于眼球追踪的交互更多是一种“弱交互”,它不是让玩家一直“拼命”地盯着目标物体。“我们把眼球追踪定义成用户在潜意识中就可以进行的操作,我们会在后台分析大量的眼动数据,当触发相应的操作,其实他们并不一定可以察觉到。而且在具体的应用中,眼球追踪只是起瞄准作用,射击之类的操作还是要通过手柄来完成。”

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(注视点渲染技术)

眼球追踪技术之于VR,不仅仅交互方式上的创新,其中涉及到的注视点渲染技术,也能从底层去减少GPU资源的消耗。黄通兵介绍,“通过注视点渲染技术,我们直接把渲染量减少,在提升性能的同时,减少GPU的载荷。以VRFunhouse为例,本来需要双1080显卡才能流畅运行的场景,应用注视点渲染技术后,使用单1070显卡就可以让场景流畅运行,渲染帧率从45帧左右提升到将近90帧,延迟则由23ms左右降低到11ms左右。这样的表现在GTC大会上也得到了NVIDIA CEO黄仁勋的肯定与支持”

从整个行业来看,眼球追踪技术还处在一个成长期,相比较手势识别这些交互方式,发展的步伐可能会稍慢一些。黄通兵深谙此理,所以七鑫易维的下一步计划是将眼球追踪技术推广到消费级的VR/AR设备上,鼓励开发者围绕它做出更多的应用,从而推动眼球追踪技术地不断成熟。

结语:

在镁客君采访的诸多技术创企中,七鑫易维的眼球追踪技术应该是离消费者最远的VR/AR技术之一,所以它的发展以及成长空间非常大。但是另一方面,我们也看到随着VR这样新兴产业的到来,也正在让更多黑科技一点点揭开神秘的面纱,朝着平民化、消费级方向发展。

当然,技术的推广和应用也需要找到一个合适的场景,然后不断去磨合。关于这个问题在镁客网9月8日协办的虚拟现实发展大会上也会深入地探讨,感兴趣的不妨来现场听听像七鑫易维这样的技术创企现身说法。


原文发布时间: 2017-08-18 17:04
本文作者: 巫盼
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
相关文章
|
1月前
|
人工智能 自然语言处理 数据安全/隐私保护
AI生成的文本:如何识破机器的“笔迹”?
AI生成的文本:如何识破机器的“笔迹”?
329 85
|
1月前
|
人工智能 弹性计算 智能设计
阿里云PAI人工智能平台计费说明:按量计费/节省计划/包年包月/资源包/按推理时长计费说明
阿里云PAI平台提供按量计费、包年包月、资源包、节省计划及按推理时长计费五种模式,适用于不同场景。按量适合短期测试,包年包月适合长期稳定使用,资源包和节省计划可降成本,按推理时长适配弹性负载。结合实际需求选择更划算。
583 10
|
29天前
|
人工智能 SEO
智能体最新消息:从技术爆点到产业浪潮,三大趋势透视下一代人机协作范式
2024年AI智能体爆发,正重塑商业与职业格局。三大趋势凸显:智能体从工具升为战略核心,驱动企业模式创新;能力平民化催生“智能体操盘手”新职业;政策与资本共推教育生态成型。智能体已成工作新常态,时代变革亟待主动拥抱。
|
移动开发 JavaScript Oracle
Oracle根据汉字取拼音首字母的function
Oracle根据汉字取拼音首字母的function
8226 0
|
2月前
|
机器学习/深度学习 自然语言处理 BI
阿里云开发者必备:GPT 从核心原理到企业级部署的全流程指南
GPT基于Transformer解码器架构,通过BPE分词、遮蔽自注意力与堆叠解码器实现自回归生成。结合指令微调与领域适配,已在汽车BI、开发者工具等场景落地。阿里云提供从模型训练到轻量化部署的全链路支持,推动GPT在产业智能化中的深度融合与应用创新。(238字)
436 2
|
机器学习/深度学习 传感器 边缘计算
基于深度学习的图像识别技术在自动驾驶汽车中的应用##
本文深入探讨了深度学习技术在自动驾驶汽车图像识别领域的应用,通过分析卷积神经网络(CNN)、循环神经网络(RNN)等关键技术,阐述了如何利用这些先进的算法来提升自动驾驶系统对环境感知的准确性和效率。文章还讨论了当前面临的挑战,如数据多样性、模型泛化能力以及实时处理速度等问题,并展望了未来发展趋势,包括端到端学习框架、跨模态融合及强化学习方法的应用前景。 --- ##
318 0
|
XML Java 测试技术
Graalvm 替代 JVM 真的可以带来巨大的性能优势吗?
介绍 Spring Boot有助于轻松开发独立的、可用于生产的 Spring 应用程序。它对 Spring 平台和第三方库采用固执己见的方法:以最少的配置简化设置过程。优势: 易于使用:Spring Boot 简化了独立 Spring 应用程序的创建,无需复杂的配置。 嵌入式服务器:它允许直接嵌入 Tomcat、Jetty 或 Undertow 等服务器,从而无需单独部署 WAR 文件。 Starter 依赖项:Spring Boot 提供预配置的“starter”依赖项,降低了构建配置的复杂性。 自动配置:Spring Boot 自动配置 Spring 和第三方库,最大限度地减少手动设置工
|
数据采集
爬虫抓取数据过程中代理IP频繁掉线:以Kookeey为例的解决方案
在数据抓取过程中,代理IP不可或缺,但其频繁掉线问题严重影响效率。本文以Kookeey为例,探讨解决之道:1)深入理解掉线原因,审慎选择稳定的服务商; 2)保持代理IP更新并合理配置使用参数; 3)在程序中集成错误处理与重试逻辑; 4)必要时升级至更优质的服务; 5)主动与服务商沟通寻求支持; 6)探索替代抓取策略,如调整抓取节奏或采用分布式架构。这些措施有助于显著提升抓取成功率及稳定性。
|
Kubernetes 监控 Perl
在K8S中,如何具体实现Pod被删除后,还能被自动拉起功能?
在K8S中,如何具体实现Pod被删除后,还能被自动拉起功能?
|
人工智能 自然语言处理 前端开发
Prompt设计与大语言模型微调
Prompt设计与大语言模型微调
821 0