3D全息技术带你沉浸式逛展逛店逛世界

简介: 万花筒3D全息扫描技术能够针对室内的各种场景实现全自动、高精度的室内3D全息内容采集和建模,并通过真实感的渲染技术,让用户摆脱了地理空间的束缚,身临其境地漫游在真实感的1比1复刻的数字孪生世界中。其中,团队自研的空间三维信息采集硬件,巧妙地运用旋转云台将单线激光雷达所采集的2D空间信息升格为3D信息,并研发了高效的深度稠密化算法。在算法拼接上,具有高精度,轻量化以及大规模化的优势,且引入高效的渲染技术让用户有更完美的沉浸体验感。目前该技术应用于云上会展、零售电商、建筑地产、家居服务等多个行业,通过AI技术推进真实物理空间的还原,让“空间”就在眼前。

一.万花筒的全息3D建模技术步骤

1.相机姿态恢复
相机姿态恢复是指找到每一张图片拍摄时所在的精确位置,通过该位置我们可以将所有的图片拼接成一个大场景。我们的相机拼接算法具有三个突出特点:高精度,轻量化以及大规模化。万花筒设备采集点距离通常较大,我们创新性的将图片的特征与激光雷达采集的点云特征进行融合,解决了传统SLAM, sfm等基于图像无法重建距离较远图片对的问题。同时我们针对手机等边缘设备进行了优化,使得用户可以实时的在手机上预览采集进度,指导用户进行高效采集。在服务端,基于阿里云计算平台,我们开发了分布式相机重建算法,可以处理万平米级别场景,如机场,展会等大场景。相关的论文发表在模式识别顶级期刊PAMI上。
VR店铺(12.8改).jpg

2.密集点云重建
密集点云是指通过图片生成高质量的点云,该点云与图片的一致性更高,是激光雷达扫描出来的点云的有效补充。点云质量越高,最后生成的模型也就越精细。传统的密集点云方法有patchmatch, planesweeping,最近也有基于神经网络的方法mvsnet,调研发现,目前已有的方法在速度和精度上都无法满足我们的需求。因此我们自研了神经网络Cascade MVS Net,该方法通过coarse to fine的方式,逐步缩小深度的搜索空间,在减少显存消耗的同时,大大提升了重建的分辨率和精度。在公开数据集上DTU上测试表明,我们的算法在速度上处理一张图只需0.5秒, 是目前最好方法的三倍,精度达到0.3毫米,是目前最好方法的两倍,在TempleAndTanks公开数据上,我们的算法精度排名第一,远超市面上,以及学术界中已有的密集点云重建方法,基于该方法的论文接受为CVPR2020 Oral.我们还搭建了一套三维重建、网格重建以及纹理贴图的完整建模方案。智能家居@2x.png

3.网格纹理模型生成
我们还搭建了一套三维重建、网格重建以及纹理贴图的完整建模方案。为了解决各种室内环境特别是大场景内存占用和精度问题,我们提出了一种LOD多尺度网格模型生成算法,通过场景划分、网格合并和简化算法生成不同面数的三维网格模型,解决了大场景重建精度、规模、内存占用、几何连续性等问题。同时我们也提出了相应的多尺度纹理贴图算法。我们的算法首先基于最精细的分块网格模型贴纹理,并通过局部和全局纹理融合算法、纹理投射算法等解决纹理连续性、纹理精度等问题,确保不同尺度的网格模型的纹理基本没有精度损失。目前我们已经将我们的三维重建方案部署到了阿里云计算平台,提供了一整套包括数据采集、算法计算以及前端渲染的完整产品方案,重建规模可达到2万平米,可应用于多层建筑结构(众趣等国内竞品无法做到),模型精度5cm内,优于竞品37%(MatterPort 3D公开数据集),每小时可重建100平米,2019云栖大会3500平米会场6小时内完成建模。在重建规模、精度和效率方面均达到业内领先。
全息店铺(12.8改).jpg

二.渲染
为了将虚拟世界的结果呈现给用户让用户有沉浸体验感,然而受限于当前移动设备尤其是web平台的硬件限制,在用户端进行高质量的实时绘制具有巨大的挑战。因此,高效渲染算法的研发显得尤为重要。为了解决移动端兼顾高效和高质量的渲染问题,我们不依赖任何第三方3D引擎,而是自己直接基于底层硬件图形API开发针对性的高效渲染引擎,从而最大化的减少额外的overhead。经测试可以比three.js引擎低30%的额外调用开销。我们还引入了很多高效的渲染算法,例如完整的PBR+ HDR渲染管线,完整的延迟渲染管线(将多光源下的渲染复杂度从O(MN)降低到O(N))从而大大加速在移动端进行渲染的计算效率和渲染质量。为了实现高质量的渲染效果,我们将很多桌面端的渲染算法在移动端进行了实现并植入引擎中,在这个过程中,为了适配移动端较弱的计算能力,我们做了大量的优化,包括采样优化,动态渲染比率,分时域渲染,LOD等。全息建筑最终定版.png

test

相关文章
|
JSON 监控 算法
TIDE.JS:三维空间数字化渲染引擎
为了满足我们三维空间渲染各个业务的需求,并且提供易用SDK方便第三方开发人员快速搭建自己的应用或平台,我们自研了TIDE.JS——一款组件化、轻量化、高性能、大规模的面向空间数字化应用的渲染引擎。
3947 0
TIDE.JS:三维空间数字化渲染引擎
|
8月前
|
存储 自然语言处理 自动驾驶
基于LLM打造沉浸式3D世界
基于LLM打造沉浸式3D世界
|
8月前
|
人工智能 自然语言处理 物联网
阿里万相重磅开源,人工智能平台PAI一键部署教程来啦
阿里云视频生成大模型万相2.1(Wan)重磅开源!Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势,轻松实现高质量的视频生成。同时,万相还支持业内领先的中英文文字特效生成,满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型,可获得您的专属阿里万相服务。
|
9月前
|
调度 vr&ar 图形学
阿里云联合平行云推出云XR平台,支持沉浸式体验应用快速落地
2022年6月,阿里云与平行云联合发布云XR平台,降低云端视觉计算应用开发门槛,加速数字孪生、虚拟人、虚拟现实等XR应用落地。该平台由阿里云提供算力调度服务,平行云全面集成3D实时渲染、音视频编码与推流等服务,支持多终端接入,助力互联网、新零售、社交等行业创新业务形态。开发者可通过SDK轻松接入,实现3D应用快速云化部署,终端用户可享受低延时、高性能的沉浸式体验。
|
11月前
|
Go vr&ar 图形学
重塑体验:AR/VR技术在游戏与娱乐行业的创新应用
【10月更文挑战第29天】本文探讨了AR/VR技术如何改变游戏与娱乐行业,介绍了AR和VR的基本概念及其在游戏和娱乐中的应用实例,包括《精灵宝可梦GO》的AR开发和VR视频播放器的实现代码,并展望了未来的发展趋势。
752 2
|
负载均衡 安全 应用服务中间件
nginx配置ssl和反向代理的配置代码
【5月更文挑战第2天】nginx配置ssl和反向代理的配置代码
691 3
|
传感器 算法 机器人
在实用化人形机器人控制系统中深入应用FPGA的框架设计(基于特斯拉Optimus-Gen2的硬件系统)
针对实用化人形机器人的控制系统,以深入应用FPGA技术为指导思想做了一个框架设计,提供一个具象化的设计实例、参考技术方案,协助各研发团队及相关决策者了解这一技术思路的价值。 进而,笔者希望读者将这个框架设计与《在实用化人形机器人研发流程中深入应用FPGA技术的流程图》结合起来进行分析、思考,希望: 进一步降低将FPGA深入应用于人形机器人在纯粹技术维度上的门槛; 助力更多正在人形机器人领域参与竞争的团队 -- 及时做出实质性决策,及时将更多资源分配到深入应用FPGA技术这一竞争维度。
662 4
在实用化人形机器人控制系统中深入应用FPGA的框架设计(基于特斯拉Optimus-Gen2的硬件系统)
|
关系型数据库 数据库
关系型数据库设计规范第三范式(3NF)
【5月更文挑战第14天】关系型数据库设计规范第三范式(3NF)
718 3
|
存储 人工智能 文字识别
2024年看AIGC是如何让1688主图焕发新春的
本文主要向大家系统地介绍了1688严选和商品品质化之旅。从买家心智和业务诉求中的痛点与机会到整体的方案和集体上线时的数据和效果,希望进一步提升严选商品的表达和买家转化。
|
运维 安全 测试技术
构建多账号云环境的解决方案|高效构建安全合规的新账号
随着企业将业务迁移上云,为了应对复杂的业务与组织关系,越来越多的企业会采用多账号来部署云环境。对于新业务上线,企业会先创建一个云账号来部署资源。通过控制台上的账号注册流程需要完成企业实名认证,这个流程周期较长。等新账号注册下来之后,企业还需要配置账号内的安全合规基线,开通相关云服务,配置网络等一系列动作,费时费力。「账号工厂」就是这样一个解决方案,帮助企业在多账号场景下高效便捷的创建受管控的安全合规云账号。
306 1