阿里云发布空天数据库引擎Ganos aerospace 大幅提升空天传感数据存储和处理效率

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Ganos aerospace特性介绍。

随着5G、IoT、对地观测技术的快速发展,遥感影像、移动对象、物联信息等空天传感数据呈爆发式增长,对数据存储、查询和分析计算构成了极大挑战。Ganos是构建在云原生关系型数据库PolarDB、多模数据库Lindorm(HBASE增强版)和数据湖DLA平台上的专业级时空增值服务,已被广泛应用。本次发布的Ganos aerospace是Ganos V3.0针对空天传感数据存储和处理的重大特性升级。

Ganos aerospace产品形态



Ganos aerospace可基于PolarDB/Lindorm/DLA各自产品独立部署使用,也可以基于产品组合构建数据库大数据一体化平台。系统底层提供了支撑天基/空基的大规模空天数据存储能力,包括批量快速写入、空天多维表达、多维时空索引和冷热多级存储等,上层提供数据管理、交批查询处理以及分析计算与操作。
图片 2.png

Ganos aerospace系统框架




Ganos aerospace的5个 重磅特性介绍如下:

空天网格码。基于全球网格剖分理论,Ganos在PolarDB内引入了一种全新的网格数据类型geomgrid,支持空间对象打码和网格对象计算等操作。系统可以无缝对接北京大学/旋极伏羲基于GeoSOT的网格大数据平台构建空天数据库-网格大数据一体化解决方案。原生网格数据类型的引入增强了空天数据库的统一时空标识能力、空天计算加速能力和基于地球空间网格的数据共享能力。
图片 3.png

空天网格剖分示意图

移动对象原生索引。针对日益增多的移动对象(人、车、船、飞行器等)时空多维查询处理需求,Ganos在PolarDB内加入了一种数据库原生通用轨迹索引Trajgist。Trajgist支持二维、三维以及高达四维时空轨迹查询,且支持多种索引组合加速和查询时按维度智能选择。Trajgist与Ganos已有轨迹类型无缝匹配,增强了移动对象的操作能力并大幅提升数据检索性能,可适配交通、物流、航海/航天等各类应用场景。
图片 4.png

移动对象原生索引

基于两阶段优化的跨节点并行查询处理。基于PolarDB的共享存储架构,Ganos实现了跨节点空间并行查询处理框架,并通过引入拓扑索引增强过滤,大幅提升空间查询性能。经权威第三方测评结果表明,2亿级图斑做叠加分析并统计面积,采用80进程并行计算,10分钟即可出结果(中间包含裁剪出7800万超大结果集),比传统方案至少快出一个数量级。
图片 5.png

基于两阶段优化的跨节点并行查询处理框架

矢量快显访问加速。大体量的矢量数据入库后即时全局浏览一直是业界难题,额外找工具切图发布又耗时耗力。数据库能解决图形显示问题?没听错!Ganos创新设计并在PolarDB中引入了一种大规模图形显示加速黑科技——稀疏矢量金字塔索引,客户端可通过与数据库实时交互,秒级快速可视化访问“亿级规模”多边形地物,而创建索引仅需分钟级并消耗仅5%的额外存储空间。

1.gif


基于【捷泰天域】提供亿级多边形真实数据实现终端快显访问

栅格动态时空拼图。要构建遥感“最强大脑”,需建立基于动态计算的遥感数据组织、处理和应用模式。Ganos综合了PolarDB的空天索引、Lindorm的空天多模存储和DLA Serverless Spark的空天计算能力,为用户提供单元化存储、时空化组织和像素级调用的全新处理框架。内部测试表明,1000景遥感影像时空拼图效率可达到秒级,革新传统预处理/预切片模式为按需时空动态并行计算模式,节约至少50%存储和处理成本。

2.gif

栅格动态时空拼图




阿里云空天数据库技术负责人谢炯指出,空天大数据服务已从基于静态切片的“胶卷”时代全面走向动态计算的“数码”时代。Ganos aerospace联合AI Earth引擎(达摩院发布的首个泛自然资源行业AI引擎)、OSS对象存储、以及微服务框架,为用户构建免切片存储、时空一体、动态计算、智能分析全新架构的云原生空天大数据平台提供了核心能力支撑,可广泛应用于城市管理、自然资源、应急管理、交通物流、公益事业等不同行业。划重点,以上Ganos aerospace所有组件和特性全部为数据库之上的免费增值服务,提供线上/线下部署方案。
图片 6.png

云原生空天大数据平台方案


有任何疑问或咨询,可用钉钉扫码入群


7.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
阿里云牵手海亮科技,共建“教育科技数据库创新应用中心”
海亮科技选择引入阿里云PolarDB开源分布式版(PolarDB for Xscale)数据库,不仅能解决海亮科技数据库业务中面临的可靠性、稳定性问题,也为海亮科技业务的高速发展提供了更好的灵活性和可扩展性。
|
2月前
|
运维 数据库 数据库管理
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
云数据库问题之阿里云在运营商领域数据库替换的整体解决方案要如何实现
|
2月前
|
关系型数据库 OLAP 分布式数据库
核心系统转型问题之Gartner分析师对阿里云数据库的评价是啥样的
核心系统转型问题之Gartner分析师对阿里云数据库的评价是啥样的
|
2月前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
107 0
|
2月前
|
Cloud Native 数据管理 数据挖掘
核心系统转型问题之阿里云数据库用户需求的通用性和差异性如何平衡
核心系统转型问题之阿里云数据库用户需求的通用性和差异性如何平衡
|
3天前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
3天前
|
安全 NoSQL 关系型数据库
阿里云数据库:助力企业数字化转型的强大引擎
阿里云数据库:助力企业数字化转型的强大引擎
|
4天前
|
存储 NoSQL MongoDB
基于阿里云数据库MongoDB版,微财数科“又快又稳”服务超7000万客户
选择MongoDB主要基于其灵活的数据模型、高性能、高可用性、可扩展性、安全性和强大的分析能力。
|
6天前
|
人工智能 Cloud Native 关系型数据库
阿里云关系型数据库连续五年蝉联榜首
全球领先的IT市场研究和咨询公司IDC发布了《2023年下半年中国关系型数据库软件市场跟踪报告》,2023年阿里云整体市场份额(公有云+本地部署模式)稳居第一,其中公有云市场份额高达39.2%,自2019年起连续5年蝉联榜首。
|
7天前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
23 2