时空数据库系列(二)-空间数据典型处理

本文涉及的产品
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 本文阐述了空间数据处理中一些常见问题如何解决,为大家提供参考。

5月5号,阿里云发布了最新的时空数据库,感兴趣的同学可以之前的文章《重磅!阿里云时空数据库正式免费公测》,
或者点击下面连接登陆阿里云官网进行免费试用:
https://www.aliyun.com/product/hitsdb_spatialpre

本文是阿里云时空数据库系列第二篇,阐述了空间数据处理中一些常见问题如何解决,为大家提供参考。第一篇是《数据入库与导出

一、投影变换

提到空间数据就绕不开投影变换的问题,不少人疑惑为什么要投影变换,怎么有那么多投影,如何选择投影?
第一个问题:为什么要投影变换?首先从数据来源说起。由于我们生活的地球是一个椭球体,定位获取的数据采用地理坐标表达即经纬度,这实际是一种球体坐标,各类GPS设备之间输出这种数据;而很多几何计算需要基于平面坐标,如计算周长、面积、距离等;所以需要把球面坐标转换成平面坐标,即投影变换。
第二个问题:怎么有那么多投影?既有历史的因素,也有地球的不规则性及椭球体到平面变换的复杂因素。
第三个问题:如何选择投影?投影分为保距离、保面积、保角度三大类,还有一类是对距离、面积、角度做了均衡处理,小范围可以保证这三个衡量指标误差小;所以当选择哪种投影时需要明确保留哪个指标,如果是三个指标都要只能选择局部投影;局部投影推荐选择UTM或者高斯-克吕格。

投影带

对全球做投影带划分是为了方面数据交换、减少形变。UTM投影采用6度分带,从东经180度(或西经180度)开始,自西向东算起,因此1带的中央经线为-177(-180 -(-6)),而0度经线为30带和31带的分界,这两带的分界分别是-3和3度。中国国境所跨UTM带号为43-53 我国的疆域范围:最西端 北纬39度15分、东经73度33分 最北端 北纬53度33.5分 东经124度27分 最南点,处北纬3°51′,东经112°16′ 最东端 北纬47度27.5分 东经134度46.5分。

中国2000坐标系

中国2000坐标系又称CGCS2000,同WGS84坐标系有非常小的差异(主要是重力参数不同),如果对定位精度要求不高,如达到厘米级精度即可满足需求,可以之间拿WGS84坐标系当作CGCS2000使用。

地理坐标与平面坐标相互转换

坐标系转换对应的函数是ST_Transform
地理坐标转平面坐标示例代码如下:

SELECT ST_AsText(ST_Transform(ST_GeomFromText('POLYGON((-71.1776848522251 42.3902896512902,-71.1776843766326 42.3903829478009,
-71.1775844305465 42.3903826677917,-71.1775825927231 42.3902893647987,-71.177684
8522251 42.3902896512902))',4326),2249)) As wgs_geom;
wgs_geom
---------------------------
POLYGON((743238 2967416,743238 2967450, 743265 2967450,743265.625 2967416,743238 2967416));

平面转地理坐标系代码示例如下:

SELECT ST_AsText(ST_Transform(ST_GeomFromText('POLYGON((743238 2967416,743238 2967450,
743265 2967450,743265.625 2967416,743238 2967416))',2249),4326)) As wgs_geom;
 wgs_geom
---------------------------
POLYGON((-71.1776848522251 42.3902896512902,-71.1776843766326 42.3903829478009,-71.1775844305465 42.3903826677917,-71.1775825927231 42.3902893647987,-71.1776848522251 42.3902896512902));
(1 row)

二、线性投影

线性投影用于在一条线L上寻找到点P最近的点。整个过程包括两步:第一步点P向线L做投影,对应的函数是ST_LineLocatePoint,获得在L上的线性参考距离d;第二步利用线性参考距离d获得投影点,对应的函数是ST_LineInterpolatePoint,即为点P到L的投影点;示例代码如下:

SELECT ST_AsText(ST_LineInterpolatePoint(foo.the_line, ST_LineLocatePoint(foo.the_line, ST_GeomFromText('POINT(4 3)')))) FROM (SELECT ST_GeomFromText('LINESTRING(1 2, 4 5, 6 7)') As the_line) As foo;
st_astext
----------------
 POINT(3 4)

001

三、空间数据简化

通常使用线模型存储原始轨迹数据数据量都非常大,为了降低存储开销,可以采用损失很少的精度大幅度降低存储空间开销。利用ST_Simplify函数对线上的点做抽稀处理,抽稀的精度可以通过参数控制;示例代码如下

SELECT ST_Simplify('LINESTRING(250 250, 280 290, 300 230, 340 300, 360 260, 440 310, 470 360, 604 286)', 2);

四、几何数据合并与裁剪

几何数据合并

当需要把两个相交或者相邻的几何体合并成一个就需要做几何体合并操作,示意图如下
002

这个是相交情况,经过合并处理得到
003

整个操作包含两步:
第一先把两个几何体使用ST_Collect函数组合在一起得到一个新几何对象
第二步再用ST_UnaryUnion函数做边界合并处理;
示例代码如下:

SELECT ST_AsText(ST_UnaryUnion(ST_Collect(st_geomfromtext('POLYGON((0 1, 0 3, 2 3, 2 1, 0 1))', 4326),
st_geomfromtext('POLYGON((1 0, 1 2, 3 2, 3 0, 1 0))', 4326))));

裁剪

用几何对象B去裁切几何对象A,保留几何对象A不与几何对象B相交的部分。示例代码如下:

SELECT ST_AsText(ST_Difference( ST_GeomFromText('LINESTRING(50 100, 50 200)'),ST_GeomFromText('LINESTRING(50 50, 50 150)')));
st_astext---------
LINESTRING(50 150,50 200)

004

用蓝色B对象裁剪A,裁剪后剩余的部分
005

五、空间数据咬合

在业务中经常遇到需要减少两个几何体缝隙的需求:比如道路边线同相邻的段之间不能有缝隙,车道面对象同相邻的车道隔离带不能有缝隙。处理方式是以其中一个几何体为主,对另外一个几何体做贴合(“咬合”),使得两个几何体之间的缝隙尽可能小。示例代码如下:

SELECT ST_AsText(ST_Snap(poly,line, ST_Distance(poly,line)*1.25)) AS polysnapped 
FROM (SELECT ST_GeomFromText('MULTIPOLYGON((( 26 125, 26 200, 126 200, 126 125, 26 125 ),( 51 150, 101 150, 76 175, 51 150 )),(( 151 100, 151 200, 176 175, 151 100 )))') 
As poly, ST_GeomFromText('LINESTRING (5 107, 54 84, 101 100)') As line
 ) As foo;
polysnapped
---------------------------------------------------------------------
MULTIPOLYGON(((5 107,26 200,126 200,126 125,101 100,54 84,5 107),(51 150,101 150,76 175,51 150)),((151 100,151 200,176 175,151 100)))

006

原数据线同多边形有很大的缝隙,经过上面的咬合操作得到如下结果
007

六、计算方位角

有些业务需要计算向量夹角,比如在交叉路口需要计算车辆右转或者左转的角度。注意下面的例子是在平面坐标下计算。
示例代码如下:

SELECT degrees(ST_Azimuth(ST_Point(25, 45), ST_Point(75, 100))) AS degA_B,degrees(ST_Azimuth(ST_Point(75, 100), ST_Point(25, 45))) AS degB_A;
   dega_b       |      degb_a
------------------+------------------
 42.2736890060937 | 222.273689006094

008

dega_b 
009

degb_a

目录
相关文章
|
4月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
2月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
2月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
87 11
|
3月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
7月前
|
存储 缓存 数据库
数据库数据删除策略:硬删除vs软删除的最佳实践指南
在项目开发中,“删除”操作常见但方式多样,主要分为硬删除与软删除。硬删除直接从数据库移除数据,操作简单、高效,但不可恢复;适用于临时或敏感数据。软删除通过标记字段保留数据,支持恢复和审计,但增加查询复杂度与数据量;适合需追踪历史或可恢复的场景。两者各有优劣,实际开发中常结合使用以满足不同需求。
565 4
|
3月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
263 0
|
5月前
|
存储 SQL Java
数据存储使用文件还是数据库,哪个更合适?
数据库和文件系统各有优劣:数据库读写性能较低、结构 rigid,但具备计算能力和数据一致性保障;文件系统灵活易管理、读写高效,但缺乏计算能力且无法保证一致性。针对仅需高效存储与灵活管理的场景,文件系统更优,但其计算短板可通过开源工具 SPL(Structured Process Language)弥补。SPL 提供独立计算语法及高性能文件格式(如集文件、组表),支持复杂计算与多源混合查询,甚至可替代数据仓库。此外,SPL 易集成、支持热切换,大幅提升开发运维效率,是后数据库时代文件存储的理想补充方案。
|
10月前
|
数据采集 数据库 Python
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
有哪些方法可以验证用户输入数据的格式是否符合数据库的要求?
449 75