Ganos 4.3新特性:获取栅格象元空间范围

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 栅格数据具备了空间信息,因此每一个象元都具备了空间属性以及数值属性数据。获取栅格象元的空间属性以及数值属性,对于进行矢栅多模融合分析具有十分重要的意义。

1. 简介

栅格数据具备了空间信息,因此每一个象元都具备了空间属性以及数值属性数据。获取栅格象元的空间属性以及数值属性,对于进行矢栅多模融合分析具有十分重要的意义。

1.1 GanosBase


GanosBase(简称Ganos)是阿里云智能研发的新一代时空数据库引擎,采用了平台即服务、多模融合、计算下推和云原生全新处理架构,为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储、查询与分析服务。

GanosBase已嵌入到RDS PG、PolarDB PG、ADB PG、Lindorm等云原生数据库产品中,本文所介绍的功能特性包含在RDS PG/PolarDB/ADBPG中。


1.2 新增函数

Ganos 4.3 中新增了将栅格象元转换为空间几何对象以及数值的系列函数,包括:

1.2.1 ST_PixelAsPolygon

返回栅格中指定象元所代表的空间范围,以矩形的方式返回geometry对象。

1.2.2 ST_PixelAsPoint

返回栅格中指定象元所代表的空间范围,以点的方式进行返回,可以指定代表的点位左上角点或中心点。

1.2.3 ST_PixelAsCentroid

返回栅格中指定象元所代表的空间范围,以中心点的方式进行返回几何对象

1.2.4 ST_PixelAsPolygons

返回栅格对象中所有象元的空间和属性信息。返回的结果包括象元在栅格对象中的行号,列号,波段号,像素值以及对应的空间多边形范围。

1.2.5 ST_PixelAsPoints

返回栅格对象中所有象元的空间和属性信息。返回的结果包括象元在栅格对象中的行号,列号,波段号,像素值以及对应的空间点信息。空间点可以指定象元的左上角点或中心点。

1.2.6 ST_PixelAsCentroid

返回栅格对象中所有象元的空间和属性信息。返回的结果包括象元在栅格对象中的行号,列号,波段号,像素值以及对应的象元空间范围中心点信息。

2. 实战步骤

本案例中,已知全国的气象温度数据(栅格)以及设备的空间位置分布情况(矢量),需要查找温度在一定范围的设备信息,来演示Ganos矢量和栅格进行统一分析能力。此案例也可以扩展为根据DEM来查找高程在一定范围内的设备等场景。

数据包括:

  • 全国的气温netcdf数据
  • 全国的设备点信息 shapefile格式

空间参考均为WGS84.


2.1 数据入库

借助于Ganos的能力,可以将netcdf与shapefile数据快速导入到数据库中:

2.1.1 温度数据入库

-- 创建Ganos Raster扩展CREATE EXTENSION GANOS_RASTER CASCADE;-- 创建温度表CREATETABLE temperature(id integer, rast raster);-- 导入netcdf温度数据,需要设置空间参考为4326INSERTINTO temperature 
VALUES(1, ST_SetSrid(ST_ImportFrom('chunk_table','OSS://<id>:<key>@<endpoint>/bucket/path/file.nc'),4326));-- 可以查看元数据信息select st_metadata(rast)from temperature where id =1;----------{"attributes":{"id":"237a4cc5-1b8a-4938-a4e1-ca62766056fb","name":"","type":"normal","version":1.1,"storage":{"mode":"internal","location":"chunk_table","md5":"","endian":"ndr","compress":"lz4","compressQuality":75,"fileSystem":"null","chunking":{"enable":true,"chunkHeight":256,"chunkWidth":256,"chunkBand":1,"rowChunksDimension":5,"columnChunksDimension":9,"bandChunksDimension":1},"cellType":"16bsi","interleaving":"bsq"},"description":"","width":2101,"height":1237,"bands":1,"pyramid":{"resample":"near","level":0,"table":""},"overview":{"table":"","column":"","pyramidLevel":1},"referenceOriginPoint":{"type":"Raster","ulp":{"row":0,"column":0,"band":0},"rrp":{"row":0,"column":0,"band":0},"wrp":{"x":0,"y":0,"z":0}}},"spatialReference":{"valid":true,"srid":4326,"refLocation":"upperleft","affline":{"upperleftx":72.985,"upperlefty":54.09500183179541,"scalex":0.03,"scaley":-0.03000000148143583,"skewx":0.0,"skewy":0.0},"gcps":{"count":0}},"bands":{"b0":{"nodata":{"valid":true,"value":-32767.0},"colorInterpretation":"Undefined","metadata":{"long_name":"Maximum temperature of 2 meters","NETCDF_VARNAME":"TEM_Max_2m","Spatial_resolution":"3km*3km","time":"202105012330","units":"°C *10"},"histogram":{"approximate":true}}},"metaData":{"TEM_Max_2m#long_name":"Maximum temperature of 2 meters","TEM_Max_2m#Spatial_resolution":"3km*3km","TEM_Max_2m#time":"202105012330","TEM_Max_2m#units":"°C *10"}}


2.1.2 设备数据入库

Ganos支持将OSS上的shapefile通过fdw的方式导入到数据库中

--创建Ganos fdw扩展CREATE EXTENSION ganos_fdw;
--创建Shapefile的fdw表select ST_RegForeignTables('OSS://<id>:<key>@<endpoint>/bucket/path/file.shp'));--数据入库到数据库中并创建空间索引CREATETABLE devices ASSELECT*from<foreign_table_name>;CREATE INDEX idx_devices_geom ON devices USING Gist(geom);


2.2 提取温度范围

此案例中最核心的功能是将基于栅格的温度转换为矢量空间范围并进行分析计算。转换的思路是将每个符合温度要求的象元的空间范围进行合并,最终获得整体空间范围,具体的SQL为:

-- 查找温度大于 27 °C 且小于28 °C 象元为例WITH tmp AS(SELECT(ST_PixelAsPolygons(rast)).*FROM temperature 
WHERE id =1)SELECT ST_Union(geom)FROM tmp 
WHERE value >=270AND value <279;

当然这样的写法对于栅格分辨率较高时,由于需要处理每个像素值,性能较低。

可以通过配合 ST_Reclassify 函数先将无效的数据处理为Nodata值降低数据处理量,具体参见ST_Reclassify函数:


-- 先执行重分类操作With tmp As(SELECT ST_Reclassify(rast,'[{"band":0,"remap":{"(-100,270,280, 1000]":"0,1,0"}, "nodata":false, "nodataValue":0}]','{"chunktable":"reclass_chunk_table"}')AS rast
from temperature 
where id =1),-- 再返回空间范围tmp2 AS(SELECT(ST_PixelAsPolygons(rast)).*FROM tmp)SELECT ST_Union(geom)FROM tmp2;


2.3 空间叠加分析

将步骤2.2 中获得的空间范围与设备表做一个空间包含关系判断,获得符合要求的设备信息:

WITH tmp AS(SELECT(ST_PixelAsPolygons(rast)).*FROM temperature WHERE id =1),tmp2 AS(SELECT ST_Union(geom)as geom
FROM tmp 
WHERE value >=270AND value <279)SELECTcount(*)-- 可以选择任何的列信息,此处以计算数量为例FROM devices, tmp2
WHERE ST_Contains(tmp2.geom, devices.geom);-- 最终结果count-------1879


3. 总结


利用Ganos的时空栅格存储、计算和分析能力,将复杂矢量栅格多模融合分析功能转化为简单的Geo-SQL语句,使得过去必须借助于GIS软件的专业的时空数据处理流程能在数据库内实现,简化用户的程序逻辑,降低开发复杂度与维护成本, 使云GIS能力赋能行业用户。


关于TST


TST团队(Team of Spatio-Temporal kernel)由来自数据库、计算机图形图像、3S等不同领域技术专家构成,是怀揣共同梦想——让80%行业用到时空云计算、迸发着活力和激情的一群创业者。团队主攻云上时空内核引擎技术架构、算法、系统平台研发与应用,致力于将时空信息处理嵌入到PaaS云计算基础设施,使之成为新一代数字框架的基础维度普惠到更多用户。欢迎加入!

目录
相关文章
|
编解码 缓存 自然语言处理
UITablew性能优化之栅格化
UITablew性能优化之栅格化
51 0
|
2月前
|
存储 数据可视化 定位技术
Ganos矢量快显功能
Ganos的2D矢量快显功能提供了亿级二维矢量数据的高效可视化解决方案。通过创新性的稀疏金字塔索引技术,Ganos大幅减少了切片构建时间和存储开销,并支持动态更新。相较于传统离线切片方式,Ganos能在普通云实例上快速构建和更新切片,显著提升了响应速度和更新效率,同时大幅降低了存储需求。本文详细介绍如何使用Ganos进行2D矢量数据的准备、稀疏金字塔构建、切片获取及Web地图服务搭建,帮助读者快速上手体验这一高效功能。
41 1
|
2月前
|
存储 数据可视化 关系型数据库
Ganos矢量快显功能上手
Ganos是由阿里云数据库产品事业部与达摩院合作研发的新一代云原生位置智能引擎,集成于PolarDB、Lindorm、AnalyticDB和RDS PG等核心产品中。Ganos具备十大核心引擎,为数据库提供一体化时空数据处理能力。其2D矢量快显功能采用稀疏金字塔索引技术,显著缩短切片时间和减少存储开销,支持动态更新。通过简单的表结构准备和索引构建,用户可快速实现高效的数据可视化。此外,Ganos还支持3D矢量数据可视化,进一步拓展了应用场景。
49 0
|
2月前
|
SQL 存储 数据可视化
Ganos H3地理网格能力解析与最佳实践
Ganos H3地理网格是一种基于六边形结构的高效地理空间数据处理技术,适用于物流、社交网络、数据分析及应急响应等多种场景。Ganos H3利用独特的六边形网格体系实现更均匀的数据分布和固定邻居关系,优化了空间数据分析、路径规划等功能。Ganos地理网格引擎支持GeoSOT和H3两种网格,具备丰富的打码方式、高性能查询及聚合分析能力,并能与几何和栅格数据融合,大幅提升了数据处理效率和存储成本效益。借助Ganos H3,企业和开发者可以更好地管理和利用地理空间数据,提高位置相关决策的准确性和效率。
94 0
|
6月前
|
存储 数据可视化 Cloud Native
用Ganos低代码实现免切片遥感影像浏览(二):动态栅格瓦片
本文介绍了Ganos全新发布了动态栅格瓦片能力,帮助用户将库内栅格数据或栅格分析结果快速可视化,无需依赖类似GeoServer等空间服务中间件,技术栈短平快,使用灵活高效。
|
存储
ArcGIS:模型构建器内变量的数据类型中栅格图层和栅格数据集的区别
ArcGIS:模型构建器内变量的数据类型中栅格图层和栅格数据集的区别
112 0
|
6月前
|
存储 编解码 数据可视化
Google Earth Engine谷歌地球引擎GEE栅格图像自动地理配准与空间位置校正
Google Earth Engine谷歌地球引擎GEE栅格图像自动地理配准与空间位置校正
140 1
|
存储 Cloud Native 关系型数据库
Ganos矢量栅格数据快速入库方法简介
本文介绍了Ganos提供的矢量、栅格数据高效入库方法,帮助用户快速理解云原生数据库空间数据的写入方案,以便更好的使用Ganos矢栅数据的处理能力。
|
存储 关系型数据库 Serverless
Ganos三维引擎系列(二):可视域与阴影率分析
本文介绍了基于阿里云多模态时空数据库Ganos三维引擎构建可视域分析与阴影率分析的应用方法。Ganos三维引擎支持三大类存储结构:表面网格模型、体网格模型与3D实景模型,其中表面网格模型用于存储带有语义的类BIM的精细化三维模型,体网格模型用于存储地质体等非匀质“场”类三维模型,3D实景模型用于存储倾斜摄影、精白模等用于渲染的三维模型,三种存储结构都提供了原生数据类型、空间索引、分析算子、导入导出工具、可视化支撑等功能,为数字孪生类应用提供闭环的存算显能力。
|
存储 SQL Cloud Native
基于Ganos的栅格引擎开展区域面雨量分析
本文介绍了由阿里云联合阿里巴巴达摩院数据库与存储实验室研发的多模态时空数据库Ganos之栅格引擎(Ganos Raster)在水利/气象领域的分析场景应用。Ganos通过在数据库中原生内置影像与格网数据的存储、检索与分析能力,为气象、水利、资源管理、应急、传媒等客户提供海量栅格数据的分析挖掘能力。通过阅读本文,用户可以更好的理解Ganos栅格模型的存储结构与相关分析能力,助力业务开发走向便捷。