标签
PostgreSQL , openstreetmap , 空间位置 , 点 , 线 , 面 , 行政地址 , 转换 , osm2pgsql , poi , 门牌 , 商圈 , 行政区
背景
空间位置(geometry 经纬、点、线、面...)、行政地址(门牌、商圈、行政区...) 相互转换需求，如果你有这方面的素材库，在PostgreSQL里面转换，性能是非常高效的。
例如输入任意一个空间对象，扫描出附近的空间对象，或者包含它的对象，或者它包含的对象。（构图）
输入任意一个空间对象，搜索离他最近的空间对象。
输入任意一个空间对象，以及其他的非空间过滤条件(使用btree_gist插件)，搜索出附近的空间对象，或者包含它的对象，或者它包含的对象。或离他最近的空间对象。
DEMO
1、建表，存储空间、实体映射信息。
create table tbl_loc (
id int8 primary key,
level int2, -- 空间对象的级别（国、省、市、区、县、街道、建筑、街道）
pos geometry, -- 空间对象的位置(多边形、线段、点)
loc_name text -- 空间对象的描述
);
2、创建空间+级别复合索引
create extension btree_gist;
create index idx_tbl_loc_1 on tbl_loc using gist(level, pos);
3、创建UDF接口函数
create or replace function get_loc_name(
int2, -- 级别（国、省、市、区、县、街道、建筑、街道）
geometry -- 输入一个空间对象（点、线段、多边形），找在某个级别内，离他最近的空间对象，并找出它的描述
) returns tbl_loc as $$
select tbl_loc from tbl_loc where level=$1 order by pos <-> $2 limit 1;
$$ language sql strict;
4、查看UDF接口函数执行计划
load 'auto_explain';
set auto_explain.log_analyze =on;
set auto_explain.log_buffers =on;
set auto_explain.log_min_duration =0;
set auto_explain.log_nested_statements =on;
set auto_explain.log_timing =on;
set auto_explain.log_verbose =on;
set client_min_messages =log;
postgres=# select * from get_loc_name(1::int2,st_setsrid(st_makepoint(110+random()*10,30+random()*10),4326));
LOG: duration: 0.171 ms plan:
Query Text:
select tbl_loc from tbl_loc where level=$1 order by pos <-> $2 limit 1;
Limit (cost=0.42..0.96 rows=1 width=107) (actual time=0.168..0.168 rows=1 loops=1)
Output: tbl_loc.*, ((pos <-> $2))
Buffers: shared hit=6
-> Index Scan using idx_tbl_loc_1 on public.tbl_loc (cost=0.42..2455327.73 rows=4586107 width=107) (actual time=0.167..0.167 rows=1 loops=1)
Output: tbl_loc.*, (pos <-> $2)
Index Cond: (tbl_loc.level = $1)
Order By: (tbl_loc.pos <-> $2)
Buffers: shared hit=6
LOG: duration: 0.466 ms plan:
Query Text: select * from get_loc_name(1::int2,st_setsrid(st_makepoint(110+random()*10,30+random()*10),4326));
Function Scan on public.get_loc_name (cost=0.27..0.28 rows=1 width=74) (actual time=0.451..0.451 rows=1 loops=1)
Output: id, level, pos, loc_name
Function Call: get_loc_name('1'::smallint, st_setsrid(st_makepoint(('110'::double precision + (random() * '10'::double precision)), ('30'::double precision + (random() * '10'::double precision))), 4326))
Buffers: shared hit=6
id | level | pos | loc_name
-----------+-------+----------------------------------------------------+----------------------------------
333848315 | 1 | 0101000020E610000000001C7BA1735C400000F03DF1984040 | 8cbcf713c4210ca4bbc09cd4c039c230
(1 row)
5、空间位置(geometry 经纬、点、线、面...)、行政地址(门牌、商圈、行政区...) 相互转换压测
首先写入一批随机空间对象数据（以点为例，写入约1亿个点 122536913）
vi test.sql
\set id random(1,2000000000)
\set level random(1,10)
insert into tbl_loc values (:id, :level, st_setsrid(st_makepoint(110+random()*10, 30+random()*10), 4326), md5(random()::text)) on conflict(id) do nothing;
pgbench -M prepared -n -r -P 1 -f ./test.sql -c 32 -j 32 -T 600
压测
vi test.sql
select * from get_loc_name(1::int2,st_setsrid(st_makepoint(110+random()*10, 30+random()*10),4326));
pgbench -M prepared -n -r -P 1 -f ./test.sql -c 56 -j 56 -T 120
性能，TPS： 10.3万。
transaction type: ./test.sql
scaling factor: 1
query mode: prepared
number of clients: 56
number of threads: 56
duration: 120 s
number of transactions actually processed: 12377402
latency average = 0.543 ms
latency stddev = 0.171 ms
tps = 103143.196980 (including connections establishing)
tps = 103153.166730 (excluding connections establishing)
script statistics:
- statement latencies in milliseconds:
0.543 select * from get_loc_name(1::int2,st_setsrid(st_makepoint(110+random()*10, 30+random()*10),4326));
使用PG的流复制，可以很容易把请求吞吐做上去，哪怕是对外提供高并发的转换类接口服务也是很轻松的。
如何得到 空间位置(geometry 经纬、点、线、面...)、行政地址(门牌、商圈、行政区...) 对应关系
一种方法是通过openstreetmap得到，openstreetmap是开放的，自由的，社会人都可以维护、获取的一个开源空间素材库。
1、导出映射关系
https://www.openstreetmap.org/
https://www.openstreetmap.org/export#map=15/30.2601/120.1653
2、将空间位置(geometry 经纬、点、线、面...)、行政地址(门牌、商圈、行政区...) 对应关系导入到PostgreSQL
https://github.com/openstreetmap/osm2pgsql/releases
sudo yum install -y cmake3 make gcc-c++ boost-devel expat-devel zlib-devel \
bzip2-devel postgresql10-devel proj-devel proj-epsg lua-devel
wget wget https://github.com/openstreetmap/osm2pgsql/archive/0.96.0.tar.gz
tar -zxvf 0.96.0.tar.gz
cd osm2pgsql-0.96.0/
alias cmake=cmake3
mkdir build && cd build
cmake .. -G "Unix Makefiles" -DCMAKE_BUILD_TYPE=Debug -DBUILD_TESTS=ON
make
make install
Install the project...
-- Install configuration: "Debug"
-- Installing: /usr/local/bin/osm2pgsql
-- Set runtime path of "/usr/local/bin/osm2pgsql" to ""
-- Installing: /usr/local/share/man/man1/osm2pgsql.1
-- Installing: /usr/local/share/osm2pgsql/default.style
-- Installing: /usr/local/share/osm2pgsql/empty.style
3、导入到数据
osm2pgsql -d postgres -E 4326 ./map.osm
public | planet_osm_line | table | postgres
public | planet_osm_point | table | postgres
public | planet_osm_polygon | table | postgres
public | planet_osm_roads | table | postgres
4、查询导入的一些对象
postgres=# select name,way,st_astext(way) from planet_osm_point limit 5;
name | way | st_astext
--------+----------------------------------------------------+-------------------------------
湘湖 | 0101000020E6100000924149DCBE0E5E40F67CCD72D92A3E40 | POINT(120.2303992 30.1673805)
江虹路 | 0101000020E6100000741200D26D0C5E4030B6B52A2E2F3E40 | POINT(120.1942029 30.1842982)
江晖路 | 0101000020E6100000C0C469D2370D5E409862B3C81B2F3E40 | POINT(120.2065321 30.1840177)
西兴 | 0101000020E6100000EB1F9FEBD60D5E40433866D993303E40 | POINT(120.2162427 30.189756)
滨康路 | 0101000020E6100000E1F725D1810E5E400E034CCFAA2F3E40 | POINT(120.2266734 30.1862001)
(5 rows)
参考
https://www.openstreetmap.org/
https://github.com/openstreetmap/osm2pgsql/releases
《OSM(OpenStreetMap) poi、路网 数据导入 PostgreSQL》
《HTAP数据库 PostgreSQL 场景与性能测试之 47 - (OLTP) 空间应用 - 高并发空间位置更新、多属性KNN搜索并测（含空间索引）末端配送类项目》
《[未完待续] HTAP数据库 PostgreSQL 场景与性能测试之 44 - (OLTP) 空间应用 - 空间包含查询(输入多边形 包含 表内空间对象)》
《HTAP数据库 PostgreSQL 场景与性能测试之 29 - (OLTP) 空间应用 - 高并发空间位置更新（含空间索引）》
《HTAP数据库 PostgreSQL 场景与性能测试之 6 - (OLTP) 空间应用 - KNN查询（搜索附近对象，由近到远排序输出）》
《HTAP数据库 PostgreSQL 场景与性能测试之 5 - (OLTP) 空间应用 - 空间包含查询(表内多边形 包含 输入空间对象)》
