如何发布具有超高性能的地图服务

简介: 如何发布具有超高性能的地图服务

1 简介

大家好我是费老师,在日常研发地图类应用的场景中,为了在地图上快速加载大量的矢量要素,且方便快捷的在前端处理矢量的样式,且矢量数据可以携带对应的若干属性字段,目前主流的做法是使用矢量切片(vector tiles)的方式将矢量数据发布为服务进行调用:

而可用于发布矢量切片服务的工具,主流的有geoservertippecanoe等,但是使用起来方式比较繁琐,且很容易遇到性能瓶颈。

除此之外,PostGIS中也提供了ST_AsMVT等函数可以直接通过书写SQL来生成矢量切片数据,但是需要额外进行服务化的开发封装,较为繁琐。

而我在最近的工作中,接触到由maplibre开源的高性能矢量切片服务器martinhttps://github.com/maplibre/martin ),它基于Rust进行开发,官方宣传其性能快到疯狂Blazing fast),而在我实际的使用体验中也确实如此,在今天的文章中我就将为大家分享有关martin发布矢量切片地图服务的常用知识😉。

806a44b2afc5eb1be6bf61ebb741c1f0.png

2 基于martin+PostGIS发布矢量切片服务

martin可在windowslinuxmac等主流系统上运行,其最经典的用法是配合PostGIS,下面我们以linux系统为例,介绍martin的部署使用方法:

2.1 martin的安装

martin提供了多种多样的安装方式,其中我体验下来比较简单稳定的安装方式是基于cargo,这是Rust的包管理器(因为martin基于Rust开发,这也是其超高性能的原因之一),martin可以直接当作Rust包进行安装。因此我们首先需要安装cargo

apt-get update
apt-get install cargo

cargo完成安装后,为了加速其国内下载速度,我们可以使用由字节跳动维护的镜像源( https://rsproxy.cn/ ):

mkdir ~/.cargo
vim ~/.cargo/config
# 在vim中粘贴下列内容后保存退出
[source.crates-io]
replace-with = 'rsproxy'
[source.rsproxy]
registry = "https://rsproxy.cn/crates.io-index"
[source.rsproxy-sparse]
registry = "sparse+https://rsproxy.cn/index/"
[registries.rsproxy]
index = "https://rsproxy.cn/crates.io-index"
[net]
git-fetch-with-cli = true

接着逐一执行下列命令即可完成martin及其必要依赖的安装:

# 安装必要依赖以防martin安装失败
apt-get install pkg-config
apt-get install libssl-dev
cargo install martin

b38e3a3ccab6b722b8d17cbcfd40574f.png

2.2 准备演示用数据

接下来我们利用geopandas来读入及生成一些示例用PostGIS数据库表,完整的代码及示例数据可以在文章开头的仓库中找到:

import random
import geopandas as gpd
from shapely import Point
from sqlalchemy import create_engine
engine = create_engine('postgresql://postgres:mypassword@127.0.0.1:5432/gis_demo')
# 读取测试矢量数据1(数据来自阿里DataV地图选择器)
demo_gdf1 = gpd.read_file('中华人民共和国.json')[['adcode', 'name', 'geometry']]
# 生成示例矢量数据2
demo_gdf2 = gpd.GeoDataFrame(
    {
        'id': range(100000),
        'geometry': [Point(random.normalvariate(0, 20), 
                           random.normalvariate(0, 20)) 
                     for i in range(100000)]
    },
    crs='EPSG:4326'
)
# 推送至数据库
demo_gdf1.to_postgis(name='demo_gdf1', con=engine, if_exists='replace')
demo_gdf2.to_postgis(name='demo_gdf2', con=engine, if_exists='replace')

通过上面的Python代码,我们将两张带有矢量数据且坐标参考系为WGS84的数据表demo_gdf1demo_gdf2分别推送至演示用PostGIS数据库中:

9c0efb7d484d18287c49a707d5c96377.png

接下来我们就可以愉快的使用martin来发布矢量切片服务了~

2.3 使用martin发布矢量切片地图服务

martin的基础使用超级简单,只需要在启动martin服务时设置好目标PostGIS数据库的连接参数字符串,它就可以自动发现数据库中具有合法坐标系(默认为EPSG:4326)的所有矢量表,并自动发布为相应的地图服务,以我们的示例数据库为例,参考下列命令:

/root/.cargo/bin/martin postgresql://postgres:mypassword@127.0.0.1:5432/gis_demo

从输出结果中可以看到示例数据库中的demo_gdf1demo_gdf2表均被martin自动发现,我们的martin服务被正常启动:

129ef1d1b99f3fbbafa8a8f85088d8ec.png

这时直接访问本机IP地址对应的3000端口,即可看到相应的提示信息:

2a675d9ec11bdcc7432de5ad2d16eae1.png

访问上面对应地址下的/catalog页面,可以看到被当前martin服务所架起的图层信息:

f7b62a9a312e1ea4157cd866ba8bca46.png

当以各个图层id作为路径进行访问时,就可以看到其对应地图服务的完整参数信息了,以demo_gdf1为例:

2d5791f5906d398852f7e20a6c59c58d.png

mapboxmaplibre等地图框架了解的朋友,就知道上述信息可以直接用于向地图实例中添加相应的sourcelayer,下面是一个简单的基于maplibre的地图示例,要素加载速度非常之快,可以说唯一限制要素加载速度上限的瓶颈是带宽😎:

相关文章
|
7月前
|
移动开发 运维 算法
室内电子地图制作:位构云平台,快速构建轻量级多类型地图
在数字化时代,室内导航和空间信息管理变得日益重要。位构云平台以其强大的功能和用户友好的界面,为用户提供了一个全面的解决方案,轻松构建多平台、综合型地图引擎,满足从商场到校园等各种场景的需求。
100 1
|
存储 安全 数据安全/隐私保护
实时云渲染应用之虚拟仿真项目的四大优势
实时云渲染方案中,虚拟仿真程序存储在服务器上,程序执行时占用的是服务器的显卡和CPU资源,用户侧机器无特殊硬件要求,只要能正常的观看1080P的视频即可。因为云渲染方案中,虚拟仿真程序存在服务器上,执行过程也在服务器,因此产生的数据也是在服务器上,数据泄露风险更低,安全系数更高。从用户侧的角度来说,点量实时云渲染方案相比于传统的方式,学生无需安装任何程序和客户端,学生通过网页,就可以打开服务器上的虚拟仿真程序进行操作学习。效果和本地安装几乎无任何差别,摆脱了对于电脑硬件参数的高性能要求,可以做到即点即用。
83 0
|
SQL 算法 Oracle
「图型计算架构」GraphTech生态系统2019-第2部分:图形分析
「图型计算架构」GraphTech生态系统2019-第2部分:图形分析
|
定位技术
图源超丰富的GIS在线地图小插件
这次给大家提供一个超级棒的arcgis加载在线地图的插件SimpleGIS
621 0
|
运维 架构师 前端开发
架构地图-业务架构1
架构地图-业务架构1
|
数据可视化 安全 图形学
实时云渲染技术应用之三维可视化部署
实时云渲染技术是以上两个方案的升级方案,该方案是纯B/S架构,将三维可视化、UE\Unity模型放置在服务器上,通过云渲染软件系统流化出可以在手机、电脑、平板、智慧屏等设备上可以直接访问的URL地址。程序运行是在云端服务器上,本地设备无需提供任何算力,用户也不需安装任何插件,而且在网络OK的情况下在任何设备任何地点(办公室、家里等)都可随时打开。在模型建设的阶段也可以选择多种引擎,无论是精美度更高的UE5还是unity、3dmax 或者其他设计软件都是OK的。因为云流化的原理其实不改变程序的指令执行过程,而是把整个执行过程画面以视频流的方式传回给用户终端设备。
451 0
实时云渲染技术应用之三维可视化部署
|
机器学习/深度学习 数据可视化 5G
实时云渲染有哪些优势
实时云渲染就是把非常重的图形计算放到云端,云端服务器可以配置较高端的GPU设备,通过云端服务器进行计算,进行实时编码,编码后将其“流化”,通过网络,把计算结果实时推送至终端(例如手机、PC、平板和XR设备)
实时云渲染有哪些优势
|
自然语言处理 数据可视化 IDE
【通用行业开发部】DataV和 UE4(虚拟引擎)的大屏交互升级方案
越来越多的大屏项目 不在满足简简单单的数据展示效果,要求越来越高的客户需求也促进大屏的定位和解决方案升级。 在阿里云的DataV数据可视化大屏的基础上,与UE4(虚拟引擎)完成跨行业的结合,带来不一样的视觉效果和交互体验,使大屏的应用效果急速扩展,对应的系统方案架构也带来不一样的挑战! 这篇文章带领大家了解DataV和UE4之间的一些奇妙设计。
【通用行业开发部】DataV和 UE4(虚拟引擎)的大屏交互升级方案
|
数据采集 数据可视化 自动驾驶
WEB 三维引擎在高精地图数据生产的探索和实践
高精地图(High Definition Map)作为自动驾驶安全性不可或缺的一部分,能有效强化自动驾驶的感知能力和决策能力,提升自动驾驶的等级。对于自动驾驶来说,高精地图主要是给机器用的,但是在制作和分析过程中依然需要人能够理解。本文将为大家简单介绍下,在过去的一段时间里高德高精地图业务团队,在WEB三维引擎技术方面的一些探索和实践,如何让复杂抽象的地理数据呈现在人们面前,满足其业务编辑和分析的诉求。
895 0
WEB 三维引擎在高精地图数据生产的探索和实践
|
移动开发 数据可视化 前端开发
可视化搭建平台的地图组件和日历组件方案选型
可视化搭建平台除了需要为用户提供简单便捷的操作方式之外, 还需要提供丰富的组件支持和组件扩展, 这样才能满足更多用户的业务需求.
298 0