「镁客·请讲」叠境数字洪煦:专研光场技术十多年,一直在探索市场化的路上

简介:

神秘的光场技术可以给我们的生活带来什么?叠境数字或许可以给你答案。

说到光场技术,就不得不提到凭借一段光场显示视频获得诸多巨头投资的Magic Leap。虽然这家神秘的公司对于自己的产品三缄其口,但它无疑给许多人科普了何为光场。

光场的定义其实还是挺抽象的,“光场描述光在空间中位置和方向信息的分布,是空间中所有光线光辐射函数的总体”。

我们所看到的物体都是通过反射光线进入眼睛后,经过晶状体折射后成像在视网膜上的,如果没有光,就没有我们所看到的五彩世界。

今天我们采访的叠境科技就是要将这些光场信息采集,然后重新建模,创造一个完全“真实”的虚拟世界。

跟全美最年轻的教授组队

叠境数字是在2015年成立的,虽然时间不长,但是创始人虞晶怡博士在光场方面的研究却可以追溯到二十年前。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境创始人 虞晶怡

翻开虞晶怡的简历:美国麻省理工大学博士,美国特洛华州立大学终身正教授,上海科技大学教授……耀眼的学术成就为叠境的发展奠定了坚实的基础。

虞晶怡先是在加州大学研究计算机视觉,后来去麻省理工读博的时候,他认识了现在叠境的技术掌舵人Jason Yang。两人一拍即合,之后他们一直在国外研究光场相关的技术。

时间线拉到2013年,虞晶怡在回国的一次活动中认识了洪煦,也就是我们今天的采访对象,叠境数字的联合创始人之一。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境总经理 洪煦

从LED面板,到裸眼3D显示,洪煦从事的都是和3D成像技术研发相关的工作。“而虞晶怡研究的光场领域,和我当时关注的裸眼3D有很多结合点,然后我们就有计划一起搭伙创业。”

恰巧到2015年的时候,虞晶怡被上海科技大学邀请回国做教授,几个合伙人就一起创办了现在的叠境数字。

用洪煦的话来说,叠境是一家基于光场技术研发的产品公司。“Magic Leap做的是光场显示后端,那我们做的就是光场采集的前端。”

光场意味着什么?

目前的VR内容主要有两种“创作”方式,一种是以VR游戏为代表,通过三维游戏引擎工具进行虚拟场景的建模,还有一种是以360度全景视频为主的实拍。前者没法达到逼真的效果,而后者缺少沉浸感所需的深度信息。

“光场采集正是弥补了这两点的短板,以高真实度来达到那种像CG制作一样具有深度信息的场景,让你在虚拟的真实环境中走来走去。”洪煦简单阐释了光场之于VR的意义。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

叠境目前的光场信息的采集主要是由多相机阵列和深度相机结合来完成,采集过程中可以记录下真实的光照信息,再通过后期的软件算法自动处理完成物体的光场重建。

说到光场的话,除了Magic Leap,国外的8i和Lytro都属于行业内的先行者。洪煦表示,叠境和8i在动态光场建模上有重合点,所谓的动态光场建模指的是,“当我们去“拍摄”一个人动作的时候,不需要任何的动捕设备,采集系统会直接记录整个运动过程,在VR或者手机端,你可以从任意角度去观看。”洪煦补充道8i可能偏向于游戏应用,而叠境更多的是影视特效方面。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

光场影视特效的应用 《Pippa’s Pan 盼》

对比光场相机出身的Lytro,洪煦提到了他们的采集系统,“我们在做的光场相机阵列不仅可以让静态图片实现拍后重对焦,同时可以对视频做相同的处理。”和Lytro相比的话,叠境的画面清晰度也会更高点。

但是叠境的相机阵列也有不少令人头疼的地方,“体积大、便捷性不够,目前还无法适用于消费级。”所以,叠境现在的技术解决方案主要以2B端的商业应用为主。

叠境:核心优势在于光场采集和算法

基于多年技术的钻研,叠境数字最核心的优势主要在光场采集和算法端,而算法又包括光场的重建和渲染,整个过程他们基本上做到了全自动化的处理。

在实际应用上,叠境提供的基于光场的解决方案包括淘宝的造物计划、360度3D VR直播以及影视特效等。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

造物计划上的光场采集模型

以淘宝造物计划为例,叠境会提供一套小型拍摄设备,完成物品拍摄后,软件算法会进行预处理,结束后直接上传到云端做最终的算法处理,这样就可以得到一个真实的光场商品模型。而淘宝APP端会加入一个光场渲染器,通过这个渲染器就可以直接在手机上浏览这些物品模型。

在他们的压缩算法下,洪煦介绍模型的大小会控制在3M以内,而整个光场建模的时间大约在15到30分钟左右。如果将建模放在云端处理的话,甚至只需要一分钟左右。

再就是直播和视频拍摄方面的应用,正如开头提到的,相比较普通的全景视频,叠境的光场技术可以为拍摄内容加入三维的深度信息,意味着你可以在所拍的场景内走动,而不是局限在一个固定的视角。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

京剧演员蓝天的光场采集现场

遗憾的是,目前这套拍摄系统还没有完全的成熟,而且由于要采集整个环境的光场信息,拍摄的周期会非常长,所以还无法实现这种光场视频的实时拍摄传输。

总结

“得益于硬件、芯片等技术的发展,光场技术迎来第一波大规模市场化的机会,现在是一个新的起点。”洪煦相信VR的未来是光场,他预计在3到5年内,行业内可以形成技术或者应用的标准。”

在采访洪煦的过程中,也可以明显感到他对于光场技术早日普及化的渴望。

提到叠境的光场采集系统时,洪煦表示他们的目标是争取在下半年或者明年将相机阵列小型化。

叠境数字洪煦:专研光场技术十多年,市场化之路漫漫

而在光场建模上,由于物体材质的不同,在实际拍摄中有系统兼容的难度。“可能对某一种材质的产品,这套系统可以用,但是当换到另外的产品,我又得换其他系统,非常不利于大规模的普及推广。”叠境希望可以做出那种类似傻瓜相机的产品,它能够适用于所有物体的重建。

对于叠境来说,从技术到产品的过渡期,最大的难点莫过于如何去根据行业的需求,将技术转化成可以市场化和商业化的产品,而这一切的最大前提就是让光场技术走入更多人的视野。


原文发布时间: 2017-06-16 13:38
本文作者: 巫盼
本文来自云栖社区合作伙伴镁客网,了解相关信息可以关注镁客网。
相关文章
|
算法 开发者 微服务
编码之道:我的技术感悟之旅
在数字世界的迷宫中,每一次代码的敲击都是对未知的探索。本文旨在揭示编程实践背后的深层逻辑与哲学思考,从个人经历出发,探讨如何通过技术提升解决问题的能力,以及在不断学习与实践中获得的成长。文章将分享作者在面对复杂问题时的思维方式,以及如何将理论知识与实际项目相结合的经验。
119 27
成功解决TypeError: ‘encoding’ is an invalid keyword argument for this function
成功解决TypeError: ‘encoding’ is an invalid keyword argument for this function
|
机器学习/深度学习 监控 数据挖掘
数据并非都是正态分布:三种常见的统计分布及其应用
这篇文章除了介绍线性模型在减肥app预测中的不切实际性,还探讨了不同统计分布在体重管理和数据分析中的应用。文章提到了正态分布和泊松分布,前者常用于描述围绕平均值对称分布的连续数据,如体重;后者适合计数数据,如体重变化次数。正态分布以其钟形曲线闻名,泊松分布则描述独立事件的数量。文章还简要介绍了卡方分布在检验分类变量关系时的作用。最后,文章指出了在线性回归中假设数据正态分布的原因,包括便于统计推断和最小化估计误差。
1504 5
|
7月前
|
人工智能 安全 开发者
2025 年 WordPress 本地部署工具深度测评:3 大高效实践方案解析
随着 WordPress 6.4 的普及,本地开发工具向智能化、场景化发展。个人开发者追求零配置启动,企业团队需标准化方案。技术演进聚焦容器化整合、AI 辅助决策与边缘计算适配。深度测评中,WordPress Studio 适合快速原型开发,Websoft9 面板适用于企业级管理,Bulk Plugin Installer 提升批量部署效率。2025 年行业趋势显示容器化、AI 辅助及边缘计算支持成为主流,选型应结合项目规模与安全需求。
285 0
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
2049 5
|
数据采集 缓存 测试技术
性能测试中,除了迭代次数,还有哪些因素会影响测试结果?
性能测试中,除了迭代次数,还有哪些因素会影响测试结果?
361 2
|
关系型数据库 MySQL Go
MySQL连接错误1045:完美解决指南
MySQL连接错误1045:完美解决指南
11658 0
|
Java Maven Spring
【异常解决】java: 无法访问org.springframework.boot.SpringApplication的解决方案
【异常解决】java: 无法访问org.springframework.boot.SpringApplication的解决方案
4509 0
|
JavaScript 测试技术 API
如何从 Vue 2 无痛升级到 Vue 3,一文搞定!
如何从 Vue 2 无痛升级到 Vue 3,一文搞定!
11034 8
|
Python
[python]为指定目录下的文件名批量加前缀
[python]为指定目录下的文件名批量加前缀
213 3