导读
Ganos是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎;V5.0版本的推出,揭开了数据库基础软件在3D全空间计算方向上的崭新篇章。
01引言
从室外空间到室内外一体化空间,从地上空间到地上下一体化空间,以全空间为载体的位置服务将随时在、随地在、随身在。为迎接全空间位置智能时代的到来,数据库需要原生存储、查询与分析处理大规模全空间多模多态数据,应对来自数字孪生、自动驾驶/车联网、5G空间计算等前沿位置相关技术领域新数据新场景挑战。
达摩院数据库与存储实验室联合阿里云将全空间数据处理能力融入云原生数据库,从云平台底层突破了In-database数字孪生3D全空间计算、全域移动对象轨迹数据查询与分析、大规模空天遥感数据处理等系列关键技术,推出了首个融合室内外、地上下多模多态数据的混合存储、查询与分析计算服务Ganos。Ganos V5.0实现了孪生全空间数据库的重磅升级,解决了全空间位置大数据使用流程复杂、使用门槛高、应用效率低等问题,为应对XG(5G/6G)、数字孪生与物联网快速发展,构建云上空天地网立体化、全空间数据管理提供了核心基础能力。作为跨数据库产品专业引擎插件,系统底层支持阿里云RDS PG、PolarDB PG、ADB PG、Lindorm等云上不同数据库产品。
Ganos支持与不同数据库产品适配
02面临的挑战
数据碎片化:物理世界数字化和空间计算产生大量多维异构全空间数据,受限于数据库多模态数据处理能力,大量应用采用了基于数据库与基于文件的存储割裂、体系混合的管理模式,从而加速数据碎片化(fragmentation),导致数据管理的复杂性以及不可避免的跨模态数据查询与处理延迟。
视算不兼容:受限于传统数据库能力,系统仅能原生存储和处理点、线、面等几何空间信息,现实世界实体的外部表征、内部结构、深层构造以及时空动态行为(轨迹、事件等动态信息)等无法一体化真实表达和处理,难以支撑孪生级应用;另一方面,3D可视化与实体级访问能力脱节,大量预制数据(如瓦片、二进制包)主要解决数据的流畅、高品质呈现,但数据的实体级更新、跨模调用、大体量分析计算不灵活、不高效,数据价值发挥存在瓶颈。
专业门槛高:地上下、室内外全空间涉及多模多态各类型数据,一方面数据来源于各个强专业性领域,另一方面,各专业领域数据天然并不兼容,从而导致数据集成、开发和应用门槛高。比如,室内BIM数据(建筑信息模型)的工程结构复杂性,地下地质模型数据的地学强专业性,大场景实景三维数据的测绘科学背景等,在借助各类专业生产软件处理输出后,很难与通用IT数据充分融合处理,并做到简化应用。
03什么是孪生全空间数据库
全空间数据库(Omni-Spatial Database或者Pan-Spatial Database)是一种具备对空天地、室内外、地上下等全空间多模多态数据建立一体化表达、存储、查询与分析计算能力的新型数据库形态。孪生全空间数据库则进一步强调了对三维真实世界各类实体和场景的数字化表达能力和全空间计算(Omni-Spatial Computing)能力。Ganos V5.0为构筑孪生全空间数据库提供了三大核心能力:
▷ 孪生全空间数据一库统管。从数据库系统底层,打通数据类型-存储-索引-查询-计算体系,原生支持室内外、地上下全空间多模多态数据面向“数据库+文件”的一库统管,解决数据碎片化管理问题。
▷ 孪生全空间数据视算一体。为各类应用开展真实世界数字化表达和实体建模提供SFMesh、PHMesh、Scene等新型数据类型体系,包括实体标识、状态/属性/事件、空间结构和视觉形态等的综合表达和一体化处理能力,不仅支持传统的空间查询,还支持时空查询、面向场景查询以及跨模融合查询等,复杂分析计算效率相比传统中间件方式有50-100X提升。
▷ 孪生全空间数据SQL访问。提供对全空间数据基于SQL的增删改查全方位能力,支持与传统数据库通用SQL接口无缝集成使用,开通数据库服务即可应用(比如,开通云原生数据库PolarDB PG版并创建Ganos相应插件即可应用),大幅降低专业化数据的开发和使用门槛。
04十大专业引擎实现多模超融合
单一模型已无法满足当前孪生新场景新应用,Ganos结合云原生数据库,从内核底层从零开发多维多模数据处理引擎;截至V5.0,系统已包含几何、栅格、轨迹、表面网格、体网格、3D实景、点云、路径、地理网格、快显十大核心引擎能力,并通过持续升级完善,使数据库原生支持10多大类多维多模数据的高效一体化存储、查询和分析计算。
Ganos V5.0之十大模型引擎(插件)
05七大全新特性升级
(1)3D表面网格处理能力增强
多模态数据类型SFMesh代表表面网格模型,主要用于表示建筑以及家具/摆设等各类物件。该模型是将真实世界中的物体通过顶点来对外包面进行空间位置信息描述,附加材质纹理等视觉信息,将现实世界3D对象表面在数字世界中进行映射。此类模型在传统3D建模、GeoBIM、CIM(城市信息模型)领域中应用广泛,是数字孪生场景的基础模型之一。Ganos V5.0中增强了对于SFMesh数据类型的模型表达与处理能力,主要包括:
- 复杂场景构建。采用基元(primitive)和节点(node)相结合的表达组织方式,灵活高效地构建数据结构和层次关系。
- 语义级数据压缩。支持多层次的数据引用,包括场景内部引用以及外部引用,实现最大程度地数据复用能力,降低存储成本。
- 综合处理能力增强。覆盖输入输出、属性存取、空间关系判断、空间分析、模型加工、空间度量、仿射变换等完整基础能力。
(2) 新增3D多面体网格引擎
多模态数据类型PHMesh代表多面体网格模型,常用于表示地质体、信号场、海岸带等连续3D空间中非匀质分布的实体或现象,可用于石油勘探、海洋捕鱼、工业制造等孪生场景。这类数据重要且特殊,一般由行业专业系统生产建模(如地质建模软件、CAD/CAE等工业软件等),原始数据精度高,结构复杂,属性多样,给全空间数据一库统管带来了极大挑战。Ganos V5.0新增多面体网格引擎,旨在为这类非匀质3D数据提供存储、索引、查询和分析计算等服务,主要特性包括:
- 支持不规则多面体网格模型构建,与规则网格相比,一个是表达能力强,能精细化表示弯曲面、截断面等特殊结构,另外,构型的灵活性在很多场合能减少图元数目、节省存储空间。
- 支持3D空间索引和属性索引,提高基于空间位置或者属性的查询效率。
- 支持面向多面体网格的空间关系判断、剖面分析、交并差空间拓扑处理以及属性提取等各类计算操作。
- 支持记录标量、向量各类属性值,数据编码压缩,优化存储开销,提高存储效率。
(3) 新增3D实景引擎
多模态数据类型Scene代表三维实景,用于大场景的真实地理环境展现,常用于城市的数字化底座,虚拟现实等场景。三维实景数据一般基于遥感测绘、智能感知等新型技术手段,对真实物理世界的场景进行三维虚拟重建,包括倾斜摄影数据、三维表面建模数据等,具有数据规模大、显示属性多、自定义结构复杂等特性。
Ganos V5.0 新增3D实景引擎,支持城市级海量三维实景数据的高效存取、查询和各类处理操作:
- 原生支持倾斜摄影、glTF等场景数据入库一体化管理;引擎采用了多级数据视图的组合关联技术,解决了超大对象存储和高效存取难题。
- 增强了对地心坐标系(ECEF)、站心坐标系(ENU)的支持,实现地理坐标数据与三维实景数据的一体化处理与分析。
- 支持三维实景数据的空间关系判断、闭合裁剪、几何简化、纹理重组等操作,能够达到城市级海量三维实景数据的秒级提取呈现。
(4) 地理网格计算能力增强
多模态数据类型GeomGrid代表地理网格。地理网格是指按照严格的空间剖分规则,构建一系列紧密关联的空间单元集合,支持地理空间数据的网格同化、网格存储,多维环境信息网格融合和网格分析等。地理网格计算一般由粗到细,逐级的分割地球表面,将地球曲面用一定大小的多边形网格进行近似模拟,再现地球表面,其目标是将地理空间的定位和地理特征的描述一体化,并将误差范围控制在网格单元的范围内。Ganos地理网格引擎目前支持空间网格码的存储、查询与计算,底层是基于GeoSOT网格理论,发展出的一种多尺度、立体的、适用于城市管理与服务的经纬网格编码模型。
Ganos V5.0 增强了对地理网格的存储和处理能力,增加了二维退化网格计算能力,有效降低编码冗余并提高了编码表示效率,同时,增加了三维网格编码的支持。
(5) 栅格引擎大对象处理能力增强
多模态数据类型Raster代表以像素方式构建的多通道/多时相空间矩阵型数据,常用于管理遥感影像、GIS GRID和数字高程模型(DEM)等种类数据。其中,通过卫星拍摄地球成像,是未来数字孪生场景获取数据最直接有效的方式之一。Ganos V5.0 增强了栅格数据的处理能力,主要包括:
- 支持毫秒级空间插值、等值线/等值面生成、空间统计等功能。
- 支持任意大小的栅格对象以常见的栅格数据格式(如Tiff、COG等)导出到OSS等存储系统,并对栅格大对象(如单景大于10GB)的导出进行了性能优化。
- 新增对MINIO,HDFS等多种网络存储服务的支持,实现多种数据源的互通。
- 支持空天大数据扩展,提供了面向多源、多时相、多尺度空天遥感大数据的一体化管理与计算的处理框架,以支持对PB级海量异构数据的存储与计算。
(6) 快显引擎支持数据局部更新
如何对数据库中的亿级矢量空间数据进行在线可视化一直是业界难题。如果是要快速在线浏览数据库中的大规模矢量数据,传统用于“底图服务”的离线切片生产流程几乎无解,不但费时费力,存储开销巨大,又无法做到联机事务处理。Ganos通过设计一种稀疏矢量金字塔索引,客户端可通过与数据库实时交互,秒级快速可视化访问“亿级规模”多边形地物,而创建索引仅需分钟级并消耗仅5%的额外存储空间。这种针对大规模矢量数据的实时可视化查询,可满足数字孪生时代对数据实时“看”的需求。Ganos V5.0快显引擎新增矢量数据的局部更新功能,支持在局部空间范围内,对任意体量的数据实现快速更新,例如,一亿规模数据集,城市范围数据的可视化更新延迟可控制在1分钟内。
(7) 轨迹流库一体
车联网、自动驾驶、互联网出行、物流等领域存在大量的时空轨迹数据。这些轨迹数据要求存储系统具备较高的写入能力以及较低的存储成本。同时针对这些轨迹数据又有实时计算(轨迹数据清洗)、在线查询(时空范围查询)和离线分析(区域聚合分析)的需求,对于业务系统来说架构较为复杂。Ganos与多模数据库Lindorm结合,提供了流库一体的时空解决方案,可以低成本、一站式的满足海量轨迹的接入、存储、实时计算、在线查询和离线分析等各个环节的需求。最新发布的Lindorm Ganos轨迹流库一体方案具备如下特性:
- 标准:采用SQL接口和Geometry类型,用户可以像使用PolarDB Ganos或PostGIS一样,直接通过SQL来使用Lindorm Ganos。
- 强大:一方面继承了Lindorm在写入、扩展性、成本等基础能力的优势;另一方面提供了时空主键索引、时空二级索引来应对多维度查询,在高效查询的同时无需为时空场景专门存储一份冗余数据。
- 全面:支持Lindorm宽表引擎和流引擎,一套系统里既可以支持电子围栏这样的实时计算场景,也可以支持大规模历史数据的查询和统计,降低了解决方案的复杂性。
06联合解决方案
Ganos V5.0孪生全空间数据管理服务能力已经与阿里云内外产品形成了联合解决方案,助力以城市数字孪生为代表的一系列孪生应用的可看、可管、可算。
(1) DataV+Ganos全空间可计算孪生系统
DataV是阿里云自研的数据可视化引擎,除了支撑其擅长的数据看板、数字驾驶舱构建外,近些年在数字孪生可视化方面有了长足的进展,衍生出DataV TwinFabric孪生产品,已经完全具备城市级大规模数字孪生平台的建设能力。本年度,Ganos V5.0与DataV TwinFabric深度合作,共同打造了全空间可计算孪生系统,并在2022年云栖大会上发布,获得了业界的广泛关注。全空间可计算孪生系统具备三维孪生要素智能构建、城市级孪生空间快速更新、室内级孪生空间精准还原、孪生全空间数据一库统管、孪生全空间数据视算一体等核心能力,解决了真实世界的复杂模型表达和海量数据分析问题,实现了全空间数据in-database的一站式超融合处理,改变了传统三维可视化产品中“文件管、切片看、客户端算”这种数据资产分散模式的思路,助力数字孪生从看到算的转变,解决视算一体的行业难题。
(2) SuperMap+Ganos存算显一体化GIS系统
超图是全球第三、亚洲第一的地理信息系统(GIS)平台软件厂商,是阿里云在GIS领域的重要伙伴,与阿里云多条产品线都有紧密的合作。两年前,Ganos已经与超图SDX+引擎开展了产品级对接,实现了矢量数据与栅格数据的库内管理与计算下推。今年Ganos V5.0又与超图开展了三维孪生能力的深度对接,完成了SDX+三维存储结构与Ganos三维能力的转换衔接,可实现白模、精模、倾斜摄影、BIM、地下三维等海量全空间数据的Ganos存储与基于Ganos库内计算能力实现三维计算下推,提高高维空间数据计算效率。超图+Ganos全空间数据的深度融合,助力传统二三维GIS系统向海量全空间存算显一体化GIS系统提升。在2022年云栖大会上,阿里云自然资源行业线与超图公司联合举办了“山水有境 云智无边”论坛,会上联合发布了阿里云超图数字孪生平台解决方案,完整落地了从超图桌面端数据处理--Ganos全空间数据存储计算--阿里云中台数据治理与服务发布--超图行业应用的产品级深度合作与可交付链路,助力行业孪生解决方案再上新台阶。
07结束语
在经历了内容数字化、企业数字化之后,我们已经进入了数字化3.0时代,即物理世界的数字化、生物世界的数字化和传统信息的融合。Ganos V5.0的发布,标志着孪生全空间数据库形态的到来。阿里云Ganos产品负责人宋震指出,全空间数据库将从数据库系统最底层为物理世界数字化提供时空处理框架,为探索物理世界模型与数字孪生世界模型的映射提供全新的多模态数据类型体系,解决全空间多模态数据的存储、索引、查询和分析计算问题。复刻当下,计算未来,孪生全空间数据库的发展将助力传统数字孪生系统实现全面升级,向全空间、可计算、真孪生系统演进。
特别鸣谢:阿里云DataV数据可视化产研团队、北京超图软件股份有限公司
关于试用:
可点击「阅读原文」发起对Ganos V5.0孪生全空间数据库的试用申请,请在“您用于的业务场景是”栏目中填写“Ganos”字样。
/ End /