阿里云发布空天数据库引擎Ganos aerospace 大幅提升空天传感数据存储和处理效率

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
简介: Ganos aerospace特性介绍。

随着5G、IoT、对地观测技术的快速发展,遥感影像、移动对象、物联信息等空天传感数据呈爆发式增长,对数据存储、查询和分析计算构成了极大挑战。Ganos是构建在云原生关系型数据库PolarDB、多模数据库Lindorm(HBASE增强版)和数据湖DLA平台上的专业级时空增值服务,已被广泛应用。本次发布的Ganos aerospace是Ganos V3.0针对空天传感数据存储和处理的重大特性升级。

Ganos aerospace产品形态



Ganos aerospace可基于PolarDB/Lindorm/DLA各自产品独立部署使用,也可以基于产品组合构建数据库大数据一体化平台。系统底层提供了支撑天基/空基的大规模空天数据存储能力,包括批量快速写入、空天多维表达、多维时空索引和冷热多级存储等,上层提供数据管理、交批查询处理以及分析计算与操作。
图片 2.png

Ganos aerospace系统框架




Ganos aerospace的5个 重磅特性介绍如下:

空天网格码。基于全球网格剖分理论,Ganos在PolarDB内引入了一种全新的网格数据类型geomgrid,支持空间对象打码和网格对象计算等操作。系统可以无缝对接北京大学/旋极伏羲基于GeoSOT的网格大数据平台构建空天数据库-网格大数据一体化解决方案。原生网格数据类型的引入增强了空天数据库的统一时空标识能力、空天计算加速能力和基于地球空间网格的数据共享能力。
图片 3.png

空天网格剖分示意图

移动对象原生索引。针对日益增多的移动对象(人、车、船、飞行器等)时空多维查询处理需求,Ganos在PolarDB内加入了一种数据库原生通用轨迹索引Trajgist。Trajgist支持二维、三维以及高达四维时空轨迹查询,且支持多种索引组合加速和查询时按维度智能选择。Trajgist与Ganos已有轨迹类型无缝匹配,增强了移动对象的操作能力并大幅提升数据检索性能,可适配交通、物流、航海/航天等各类应用场景。
图片 4.png

移动对象原生索引

基于两阶段优化的跨节点并行查询处理。基于PolarDB的共享存储架构,Ganos实现了跨节点空间并行查询处理框架,并通过引入拓扑索引增强过滤,大幅提升空间查询性能。经权威第三方测评结果表明,2亿级图斑做叠加分析并统计面积,采用80进程并行计算,10分钟即可出结果(中间包含裁剪出7800万超大结果集),比传统方案至少快出一个数量级。
图片 5.png

基于两阶段优化的跨节点并行查询处理框架

矢量快显访问加速。大体量的矢量数据入库后即时全局浏览一直是业界难题,额外找工具切图发布又耗时耗力。数据库能解决图形显示问题?没听错!Ganos创新设计并在PolarDB中引入了一种大规模图形显示加速黑科技——稀疏矢量金字塔索引,客户端可通过与数据库实时交互,秒级快速可视化访问“亿级规模”多边形地物,而创建索引仅需分钟级并消耗仅5%的额外存储空间。

1.gif


基于【捷泰天域】提供亿级多边形真实数据实现终端快显访问

栅格动态时空拼图。要构建遥感“最强大脑”,需建立基于动态计算的遥感数据组织、处理和应用模式。Ganos综合了PolarDB的空天索引、Lindorm的空天多模存储和DLA Serverless Spark的空天计算能力,为用户提供单元化存储、时空化组织和像素级调用的全新处理框架。内部测试表明,1000景遥感影像时空拼图效率可达到秒级,革新传统预处理/预切片模式为按需时空动态并行计算模式,节约至少50%存储和处理成本。

2.gif

栅格动态时空拼图




阿里云空天数据库技术负责人谢炯指出,空天大数据服务已从基于静态切片的“胶卷”时代全面走向动态计算的“数码”时代。Ganos aerospace联合AI Earth引擎(达摩院发布的首个泛自然资源行业AI引擎)、OSS对象存储、以及微服务框架,为用户构建免切片存储、时空一体、动态计算、智能分析全新架构的云原生空天大数据平台提供了核心能力支撑,可广泛应用于城市管理、自然资源、应急管理、交通物流、公益事业等不同行业。划重点,以上Ganos aerospace所有组件和特性全部为数据库之上的免费增值服务,提供线上/线下部署方案。
图片 6.png

云原生空天大数据平台方案


有任何疑问或咨询,可用钉钉扫码入群


7.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
14天前
|
存储 人工智能 数据管理
|
3天前
|
运维 关系型数据库 MySQL
体验领礼啦!体验自建数据库迁移到阿里云数据库RDS,领取桌面置物架!
「技术解决方案【Cloud Up 挑战赛】」上线!本方案介绍如何将自建数据库平滑迁移至云数据库RDS,解决业务增长带来的运维难题。通过使用RDS MySQL,您可获得稳定、可靠和安全的企业级数据库服务,专注于核心业务发展。完成任务即可领取桌面置物架,每个工作日限量50个,先到先得。
|
7天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
14天前
|
存储 数据采集 数据挖掘
CSV vs 数据库:数据存储的最佳选择是什么
本文介绍了爬虫数据存储中CSV和数据库的优缺点,分析了两者在不同场景下的适用性。CSV简单易用、资源消耗低,适合小量数据;数据库则在处理大量数据和复杂查询时表现出色,支持并发操作。通过Python代码示例,展示了如何使用多线程和爬虫代理IP技术将百度搜索数据存储到MySQL数据库中,适用于大型项目和复杂数据分析需求。
|
28天前
|
存储 NoSQL 关系型数据库
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
我们的风控系统引入阿里云数据库MongoDB版后,解决了特征类字段灵活加减的问题,大大提高了开发效率,极大的提升了业务用户体验,获得了非常好的效果
阿里云数据库MongoDB版助力信也科技 打造互联网金融企业样板
|
15天前
|
人工智能 Cloud Native 关系型数据库
双位数增长,阿里云连续五年领跑关系型数据库
阿里云蝉联中国关系型数据库整体市场份额第一,在公有云业务双位数增长的驱动下,阿里云同时在公有云关系型数据库市场取得了38%的市场份额,连续五年位居首位。
|
2月前
|
Cloud Native 关系型数据库 Serverless
阿里云数据库获中国计算机学会“科技进步一等奖”!
阿里云数据库获中国计算机学会“科技进步一等奖”!
39 0
|
3月前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
3月前
|
安全 NoSQL 关系型数据库
阿里云数据库:助力企业数字化转型的强大引擎
阿里云数据库:助力企业数字化转型的强大引擎
下一篇
开通oss服务