「镁客·请讲」七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

简介:

“行业内的公司既有被收购的,也有自己独立上市的,所以一切皆有可能吧。”

最近,微软在win 10 的最新版本中,加入了“眼球追踪”功能,通过凝视来完成一些基本的文本输入操作,而之所以会增加这个功能,微软表示想要帮助那些患有神经肌肉疾病的人,比如渐冻症患者,让他们直接用眼神和系统中各种元素交互。

眼球追踪技术似乎正在一点点侵入到我们的生活。去年,七鑫易维推出了全球首款VR眼球追踪模组aGlass,展现了他们的注视点渲染、眼控交互和眼动数据分析三大“黑科技”。

从最早的医疗辅具到PC上的辅助再到虚拟现实体验,今天我们就和七鑫易维的创始人黄通兵聊聊眼球追踪技术。

被收购or自己成长壮大,一切皆有可能

黄通兵是在2009年创建的七鑫易维,最初的时候他也没想到自己会出来创业。

在沈阳航空航天大学任职期间,黄通兵捣鼓了一些项目,然后无心插柳柳成荫,他成功地将自己做的软件卖给了一家军工企业。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(七鑫易维创始人&CEO黄通兵)

而黄通兵最先研究的是偏战斗机飞行器相关的眼控技术,“当时眼球追踪是飞行员军用瞄准头盔上一个在研的技术。”

卸下老师的身份后,黄通兵在工作上也遇到不少坑,但也正是那些路上的荆棘,有了今天的七鑫易维。

“其实公司成立之初,就是从这种穿戴式的头显出发,当时主要用于医疗辅具上,后来包括普通的台式一体机这些”,七鑫易维创建后不久,他们就成功地把眼控仪销售给ALS人群(渐冻人),并且与相关的残疾人协会进行合作。

而随着近几年VR/AR突然窜头,眼球追踪技术也看到走向消费级应用的曙光,七鑫易维自然不会错过这次机会。所以他们也顺势推出了首款VR眼球追踪模组aGlass。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(全球首款VR眼球追踪模组aGlass)

但是将这个有点黑科技概念的技术做到一个消费级水平并不是容易的事情,这也是为什么行业内会连续出现大公司收购技术创企的新闻:

2017年6月,苹果收购了专注于眼球追踪技术的德国公司SensoMotoric Instruments;

2016年12月,Facebook收购了眼球追踪公司The Eye Tribe;

2016年10月,谷歌收购了眼球追踪技术公司Eyefluence。

科技巨头们在收购的同时,与眼球追踪相关的一系列专利也悉数收入囊中,由此可见眼球追踪的技术门槛也非常高。

当问到七鑫易维之后会不会委身于大公司,黄通兵打了个‘马虎眼’,“行业内的公司既有被收购的,也有自己独立上市的,所以一切皆有可能吧。”

千人有千眼,先从基础的数据采集开始

眼球追踪技术的门槛高,直到现在技术本身也没有一个完整的解决方案,而眼球的数学模型目前也不完备。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

如黄通兵所说,“千人有千眼,每个人的眼睛都是独一无二的,有的眼睛斜视,有的眼睛近视或者远视,甚至还有一些眼部的疾病。同时戴眼镜的情况也特别多。在这种情况下,要做全眼球相关的数据也是一个难度大,且需要长期积累的事情。”

以数据采集为例,七鑫易维最初将眼球追踪技术应用到医疗领域的时候,就已经有计划地采集一些数据,尤其是比较特殊的一些眼球方面,“这么多年,我们一直在积累这方面的数据。”

当然,这也是七鑫易维和其他竞争对手相比所保有的优势。

从2014年到2016年,七鑫易维相继得到高通、中兴合创、国科等知名机构的投资,所以在芯片以及核心传感器方面,他们都会有全面的资源和国际巨头公司的背书。

基于此,七鑫易维的眼球追踪模组aGlass的DK1版本很快得到HTC Vive的官方认可,“作为首款眼球追踪配件,我们推出市场后更多的是起到教育市场和培育开发者的作用。”黄通兵介绍,他们正在准备DK2的版本。相比较之前主要面向开发者的版本,新的追踪模组推出的同时会附带相关的内容体验,包括一些基于眼动数据的个性化服务。

其实从镁客君的体验来看,很少能看到带有眼球追踪的VR内容,黄通兵也是心有戚戚,“内容体验方面目前还没有特别面向大众的应用推出,推出眼球追踪模块也是为了让开发者更快熟悉技术,只有不断出现新的内容支持眼球追踪技术,才可能让消费者真正去接受并且把这个东西玩起来。

等待眼球追踪技术来改写更自然的人机交互

虽然现阶段用眼球追踪交互的内容还比较少,但不可否认眼球追踪带来的是更加自然的人机交互体验,从这个角度来看,它非常适合于一些VR场景。

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(眼控交互)

“在现有的一些VR游戏中,瞄准都是一个大难题,你得拿着方向键或者晃头,这些都没有只用眼球直接瞄准来的爽。”黄通兵认为,对于VR/AR来说,眼球追踪是最好的人机交互之一,而且相比语音、手势识别以及带有外设的其他交互方式,它也更加适合穿戴式的环境。

黄通兵说了几个实际应用的例子:比如体验一些VR游戏,眼睛看着目标就可以锁定,而在一些惊悚类的游戏中,可以设计出这样一种机制,当出现恐怖情节的时候,玩家闭上眼不敢看,就会触发掉血的机制。

问题来了,如果仅仅依靠眼球的运动来完成所有的交互,造成视觉疲劳会怎么办?

黄通兵表示,基于眼球追踪的交互更多是一种“弱交互”,它不是让玩家一直“拼命”地盯着目标物体。“我们把眼球追踪定义成用户在潜意识中就可以进行的操作,我们会在后台分析大量的眼动数据,当触发相应的操作,其实他们并不一定可以察觉到。而且在具体的应用中,眼球追踪只是起瞄准作用,射击之类的操作还是要通过手柄来完成。”

七鑫易维黄通兵:追求更自然的人机交互,眼球追踪技术正在路上

(注视点渲染技术)

眼球追踪技术之于VR,不仅仅交互方式上的创新,其中涉及到的注视点渲染技术,也能从底层去减少GPU资源的消耗。黄通兵介绍,“通过注视点渲染技术,我们直接把渲染量减少,在提升性能的同时,减少GPU的载荷。以VRFunhouse为例,本来需要双1080显卡才能流畅运行的场景,应用注视点渲染技术后,使用单1070显卡就可以让场景流畅运行,渲染帧率从45帧左右提升到将近90帧,延迟则由23ms左右降低到11ms左右。这样的表现在GTC大会上也得到了NVIDIA CEO黄仁勋的肯定与支持”

从整个行业来看,眼球追踪技术还处在一个成长期,相比较手势识别这些交互方式,发展的步伐可能会稍慢一些。黄通兵深谙此理,所以七鑫易维的下一步计划是将眼球追踪技术推广到消费级的VR/AR设备上,鼓励开发者围绕它做出更多的应用,从而推动眼球追踪技术地不断成熟。

结语:

在镁客君采访的诸多技术创企中,七鑫易维的眼球追踪技术应该是离消费者最远的VR/AR技术之一,所以它的发展以及成长空间非常大。但是另一方面,我们也看到随着VR这样新兴产业的到来,也正在让更多黑科技一点点揭开神秘的面纱,朝着平民化、消费级方向发展。

当然,技术的推广和应用也需要找到一个合适的场景,然后不断去磨合。关于这个问题在镁客网9月8日协办的虚拟现实发展大会上也会深入地探讨,感兴趣的不妨来现场听听像七鑫易维这样的技术创企现身说法。


原文发布时间: 2017-08-18 17:04
本文作者: 巫盼
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
相关文章
|
小程序 安全 网络协议
Nginx配置小程序域名(HTTPS
Nginx配置小程序域名(HTTPS
Nginx配置小程序域名(HTTPS
|
弹性计算 虚拟化 异构计算
2023阿里云GPU服务器租用费用说明:包年包月、小时收费、学生GPU服务器租用费用
阿里云GPU服务器租用价格表包括包年包月价格、一个小时收费以及学生GPU服务器租用费用,阿里云GPU计算卡包括NVIDIA V100计算卡、T4计算卡、A10计算卡和A100计算卡,GPU云服务器gn6i可享受3折优惠,分享阿里云GPU服务器租用价格表、GPU一个小时多少钱以及学生GPU服务器收费价格表:
4053 0
|
1月前
|
人工智能 自然语言处理 安全
AI术语看不懂?这24个核心概念,帮你把AI底层逻辑一次讲清
本文系统梳理AI领域24个核心概念,分四层解析:基础认知(如Token、大模型)、使用交互(Prompt、CoT)、工程架构(RAG、LoRA、Transformer)与进阶能力(Agent、多模态)。拒绝空谈,直击本质,帮你构建真正可用的AI认知框架。
|
1月前
|
安全 JavaScript 前端开发
OpenClaw又又又危!Axios npm被投毒,植入全平台木马
Axios npm包遭供应链投毒,1.14.1与0.30.4版本含恶意依赖plain-crypto-js@4.2.1,安装时自动下载运行远控木马(Windows/Linux/macOS全平台),回连域名sfrclak.com。影响广泛,已下架。建议立即排查并封禁相关域名及版本。
|
4月前
|
存储 弹性计算 运维
阿里云轻量应用服务器全解析:实例类型、规格性能、使用优势及问题解答FAQ
阿里云轻量应用服务器,专为建站、开发测试等场景设计,具备轻量化、贴近应用、成本可控、可进化四大优势。提供五大实例类型,适配多元需求,200Mbps带宽起步,38元/年起,助力用户高效上云。
|
11月前
|
机器学习/深度学习 人工智能 算法
如何像 Manus 交付业务需求-- OneAgent + MCPs 范式
本文探讨了从单一LLM调用到复杂Agent系统的发展历程,重点介绍了OneAgent + MCPs范式。该范式通过结合强大的基础Agent和领域特定的MCP(Microservice Capability Provider)来解决复杂业务需求。文章分析了其在保险科技领域的实践,展示了如何通过Loop框架执行任务,并讨论了当前面临的挑战如to-do质量依赖、状态管理和知识整合深度等问题。同时,提出了包括标准化交互生态、提升系统鲁棒性、优化MCP调用管理及应用强化学习等发展方向。最终展望了这一范式在更多行业落地的潜力,强调了快速搭建领域Agent的重要性,而非追求全知全能的GodAgent模式。
如何像 Manus 交付业务需求-- OneAgent + MCPs 范式
|
机器学习/深度学习 算法 PyTorch
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
深度学习近年来在多个领域取得了显著进展,但其核心组件——人工神经元和反向传播算法自提出以来鲜有根本性突破。穿孔反向传播(Perforated Backpropagation)技术通过引入“树突”机制,模仿生物神经元的计算能力,实现了对传统神经元的增强。该技术利用基于协方差的损失函数训练树突节点,使其能够识别神经元分类中的异常模式,从而提升整体网络性能。实验表明,该方法不仅可提高模型精度(如BERT模型准确率提升3%-17%),还能实现高效模型压缩(参数减少44%而无性能损失)。这一革新为深度学习的基础构建模块带来了新的可能性,尤其适用于边缘设备和大规模模型优化场景。
479 16
Perforated Backpropagation:神经网络优化的创新技术及PyTorch使用指南
|
人工智能 自然语言处理 算法
真的要让AGI在2025年降临吗?一场技术狂潮下的冷静思考
近年来,关于通用人工智能(AGI)在2025-2026年实现的言论层出不穷,引发业界热烈讨论与公众期待。尽管AI技术取得显著进展,如GPT系列模型,但距离真正AGI仍有差距。技术突破需时间积累,且面临多步规划、长时记忆等挑战。此外,部分企业夸大宣传误导公众,AGI还涉及伦理风险。因此,我们应保持理性态度,正视技术挑战,推动规范化发展,并鼓励参与相关培训提升竞争力。
|
JavaScript
http-server实现本地服务器
使用Node.js的http-server模块创建本地服务器:先确保安装Node.js和npm,然后在命令行中安装http-server模块,运行`npm install http-server -g`。接着,切换到目标文件夹并启动服务器,输入`http-server`或带端口号的`http-server -p 3000`。最后,通过`http://localhost:8080`(或指定端口)访问服务器。
|
机器学习/深度学习 监控 算法
DreamerV2
DreamerV2
325 4