重磅|阿里云HBase Ganos全新升级，推空间、时空、遥感一体化基础云服务

2019-09-05 3987

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

对象存储 OSS，20GB 3个月

云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月

云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月

简介： 9.5日，阿里云数据库时空引擎HBase Ganos联合X-Pack Spark实现重磅升级，推出集空间、时空、遥感一体化V2.5新版本。

1、HBase Ganos是什么

Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合，建立了以自研云原生数据库POALRDB为基础，联合NoSQL大数据平台（Ali-HBASE和X-Pack Spark）的完整时空地理信息云化管理解决方案。
HBase Ganos是为PB级分布式、大规模时空数据管理而生，主打NoSQL时空大数据处理能力，兼容HBase、Spark、GeoMesa、GeoServer等广泛开源生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。
_2019_09_05_11_06_01

2、新版本重要特性

全球首发时空栅格引擎云服务，支撑航天航空遥感云计算与智能化发展

对地观测技术的快速发展正促使遥感应用走向在线化和服务化。全新的云上时空栅格数据引擎面向未来遥感大数据云端智能分析计算需求而设计，采用了极为灵活的时空数据组织方式，在保留多时相、多分辨率且每一寸像素光谱信息的同时，兼顾传统遥感应用的快速浏览需求。引擎内置的ETL工具可以打通OSS、HBase、POLARDB/PG等数据存储产品，支持栅格数据的全自动化快速入库，包含投影转换、数据分块和索引创建等。栅格数据存储组织支持多种模式，常用的包括全球标准格网剖分和本地坐标系格网剖分（见下图）。
_2019_09_05_11_40_59
此外，2.5版本发布全新的时空Cover数据模型。Cover模型物理上维护每一幅遥感影像的独立性，同时支持海量遥感影像基于时相和空间条件的动态拼接，逻辑上实时生成时空动态一张图，为遥感智能化分析计算应用提供强大数据模型支撑。
_2019_09_05_11_14_14

与X-Pack Spark、 GeoTools集成，提供兼容OGC标准的空间数据访问接口

2.5版本提供了更全面的访问方式，包括基于GeoTools API的访问、支持GeoJson作为时空数据结构的REST API、以及空间GeoSQL支持，可最大程度兼容不同用户需求。其中，Ganos Spark模块提供了一系列UDF空间算子实现了基于OGC标准的GeoSQL的空间数据查询，例如：
_2019_09_05_11_15_49
这些空间算子主要包括Geometry Constructors函数、Geometry Accessors函数、Geometry Cast函数、Geometry Editors函数、Geometry Outputs函数、Spatial Relationships函数以及Geometry Processing函数等，算子功能将按需扩展。
_2019_09_05_11_17_53

支持时空几何、时空轨迹数据建模，成本、性能获得综合优化

2.5版本支持丰富的时空几何数据、时空轨迹数据建模，数据类型包括点、线、面等时空对象。在此基础上，还提供了完备的时空模型操作能力，既可以支持空间范围查询，也支持“时间+空间”的多维查询。
在性能优化方面，采用了空间谓词下推技术，查询时可将空间过滤条件下推到存储层执行，从而减少I/O开销，降低查询时延。另外，结合阿里云X-Pack可构建强大的时空分析平台，借助空间分区、分区索引、基于内存索引以及Fast Spatial Jion等性能优化手段，可大幅提高查询分析性能。
在成本控制方面，针对时空数据写入膨胀的问题，新版本在索引生成、时空模型编码、冷热分离存储等方面进行了全面优化。在索引生成阶段，对索引的控制力度更细，可按需建立索引；在时空编码方面，使用了TWKB编码，同时用户可指定写入数据的精度，减少数据的存储长度；在冷热分离存储方面，借助阿里云OSS存储，可使得存储成本下降70%以上。

3、典型应用场景

航天航空遥感应用

对地观测、商业航天、无人机测绘等快速发展，积累了大量的遥感影像数据。数据规模的不断扩大给数据时空化组织以及大数据和智能化应用带来了极大挑战。未来需要探索数据在线、应用能力在线、用户购买服务模式。Ganos可以为云平台商、卫星数据厂商、平台服务商等构建遥感智能化大数据云平台提供时空云基础设施支撑，解决最底层关键技术，并在传统编目化管理和切片化应用基础上获得全新架构的快速演进，从而在遥感智能化浪潮中聚焦业务并获得先机。

互联网出行

互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。以供需预测为例，基于对历史轨迹数据的分析，并结合实时订单数据，预测当前订单密集区域的分布，提高接单概率并减少司机空驶时间。这背后涉及到大量时空型数据和业务信息的快速读取，并结合业务算法进行预测，利用HBase Ganos可有力支持该业务场景。

传感网与实时GIS

在环保、气象、水利、航海航空监测等领域，需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标，比如污染监测、水位监测、降雨量监测、航标监测等。HBase Ganos可以为构建实时GIS大数据应用提供稳定、可靠、弹性、免运维的PaaS服务，为地理国情常态化监测和智慧城市建设提供基础平台。

车联网

海量的车辆终端在不断地产生轨迹数据，轨迹数据包含了时间和空间位置。利用HBase Ganos，实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外，还可以进行时空查询，如查询某段时间的轨迹，某段时间进入该区域的车辆等。结合大数据分析框架（如Spark）还可以进行穿越分析、区域分布热力图等。

智慧物流与外卖递送

在物流与外卖等领域，需要实时监控车辆、骑手的位置，以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报，云端需要处理高并发写入并进行实时路径规划、偏航监测等计算，背后都需要大量的时空计算。

4、典型案例&架构

航海船舶大数据平台

场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：
• 监管区域实时地理围栏判断；
• 轨迹区域回放（指定区域+指定时间段）；
• 轨迹回放（指定时间段查询）。
架构说明：
• AIS等数据经过Spark平台清洗、融合完成后，构建数仓；
• 对外提供查询的数据存储到HBase Ganos中，可供前端各类应用进行时空查询（如地理围栏、轨迹回放等）；
• 整体系统的查询时间在毫秒级，数据清洗在分钟级。
_2019_09_05_11_21_49

位置服务平台

场景：实时采集车辆设备轨迹，40万+终端设备，3万+轨迹点/秒峰值；对外提供实时位置查询、地理围栏、轨迹相似度判断等服务；
架构说明：
• 利用POLARDB Ganos的MOD移动对象数据库保存业务、GIS和行程轨迹现势数据，而HBase Ganos保留所有历史轨迹库；
• 当历史数据量较大时，可通过冷数据自动转储功能，将数据存放到OSS中，减少70%以上的成本；
• 百亿量级的轨迹查询（比如查询某段时间、某空间范围内经过的轨迹）只需亚秒级；
与X-Pack Spark平台无缝衔接，可以提供类似轨迹相似度、OD分析等强大功能。
_2019_09_05_11_22_48

遥感大数据管理与智能服务平台

场景：完全在线化大规模遥感影像数据入库、查询、分析和AI智能服务。
痛点：
• 遥感影像数据体量大且增量快，存储、计算扩展不灵活；
• 以原始文件为单位管理模式粗放，数据结构不统一，上层调用复杂；
• 传统静态切片方式管理显示速度快，但光谱信息丢失，无法有效支撑实时分析场景和AI场景；
• 多源空间数据融合查询分析困难。
架构说明：
• 原始数据采用OSS高性价比存储，冷热分离；
• 影像数据库采用SQL+NoSQL构建时空序列影像，容量无上限，存储与计算分离，极致弹性；
• 数据完全结构化存储和组织，保留原始像元信息，有效支撑各类分析计算场景；
• 与X-Pack Spark集成，ETL与多源空间数据分析处理更便捷，可进一步集成阿里天巡平台，实现遥感AI能力集成。
_2019_09_05_11_23_41