AI 助理
备案控制台
开发者社区 PolarDB开源 PolarDB PostgreSQL 版 文章 正文

PolarDB 开源版 通过pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合

2022-12-29 271
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版，标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版，通用型 2核8GB 50GB
简介： PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力. 本文将介绍PolarDB 开源版 通过 pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合

背景

PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.

本文将介绍PolarDB 开源版 通过 pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合

测试环境为macOS+docker, PolarDB部署请参考下文:

点云部署参考:

pgpointcloud 的特性

pgpointcloud的原理是将很多个点存储到一个值(点集)里面, 点集可以用来表达轨迹、扫描影像, 业务操作通常包含:

  • 判断轨迹是否相交(指包住两个轨迹的边界(bound box)是否相交), 实际上使用PostGIS的trajectories可能更适合.
  • 判断轨迹是否落到某个给定区域(指轨迹的边界(bound box)是否和指定几何对象是否相交)
  • 指定区域将内部的轨迹抠出(将落在指定几何对象内部的点从点集中抠出)
  • 合并轨迹
  • 压缩轨迹
  • 3D建模和数据存储
  • 3D影像的抠出

注意这里说的“轨迹”不带时间, 只是为了辅助理解所以称之为轨迹, 实际上pgpointcloud不适合轨迹业务. 轨迹建议使用postgis. 或者阿里云ganos.

pgpointcloud存储点集的优势:

  • 支持压缩, 节省成本
  • 片存储, 存取效率高
  • 支持内置点云操作算法, 同时可扩展算法, 无需提取数据到本地进行计算, 大幅度提升计算效率
  • 支持GIS, 方便和地理信息结合, 更好的满足虚拟现实|数字孪生业务需求
  • 支持索引, 过滤效率高

例子

1、点

SELECT PC_MakePoint(1, ARRAY[-127, 45, 124.0, 4.0]);  
  
010100000064CEFFFF94110000703000000400

Insert some test values into the points table:

INSERT INTO points (pt)  
SELECT PC_MakePoint(1, ARRAY[x,y,z,intensity])  
FROM (  
  SELECT  
  -127+a/100.0 AS x,  
    45+a/100.0 AS y,  
         1.0*a AS z,  
          a/10 AS intensity  
  FROM generate_series(1,100) AS a  
) AS values;  
SELECT PC_AsText('010100000064CEFFFF94110000703000000400'::pcpoint);  
  
{"pcid":1,"pt":[-127,45,124,4]}

2、点集

INSERT INTO patches (pa)  
SELECT PC_Patch(pt) FROM points GROUP BY id/10;  
SELECT PC_AsText(PC_MakePatch(1, ARRAY[-126.99,45.01,1,0, -126.98,45.02,2,0, -126.97,45.03,3,0]));  
  
{"pcid":1,"pts":[  
 [-126.99,45.01,1,0],[-126.98,45.02,2,0],[-126.97,45.03,3,0]  
]}  
SELECT PC_AsText(pa) FROM patches LIMIT 1;  
  
{"pcid":1,"pts":[  
 [-126.99,45.01,1,0],[-126.98,45.02,2,0],[-126.97,45.03,3,0],  
 [-126.96,45.04,4,0],[-126.95,45.05,5,0],[-126.94,45.06,6,0],  
 [-126.93,45.07,7,0],[-126.92,45.08,8,0],[-126.91,45.09,9,0]  
]}

3、判断轨迹是否相交(指包住两个轨迹的边界(bound box)是否相交), 实际上使用PostGIS的trajectories可能更适合.

-- Patch should intersect itself  
SELECT PC_Intersects(  
         '01010000000000000001000000C8CEFFFFF8110000102700000A00'::pcpatch,  
         '01010000000000000001000000C8CEFFFFF8110000102700000A00'::pcpatch);  
  
t

4、判断轨迹是否落到某个给定区域(指轨迹的边界(bound box)是否和指定几何对象是否相交)

SELECT PC_Intersects('SRID=4326;POINT(-126.451 45.552)'::geometry, pa)  
FROM patches WHERE id = 7;  
  
t

5、指定区域将内部的轨迹抠出(将落在指定几何对象内部的点从点集中抠出)

SELECT PC_AsText(PC_Explode(PC_Intersection(  
      pa,  
      'SRID=4326;POLYGON((-126.451 45.552, -126.42 47.55, -126.40 45.552, -126.451 45.552))'::geometry  
)))  
FROM patches WHERE id = 7;  
  
             pc_astext  
--------------------------------------  
 {"pcid":1,"pt":[-126.44,45.56,56,5]}  
 {"pcid":1,"pt":[-126.43,45.57,57,5]}  
 {"pcid":1,"pt":[-126.42,45.58,58,5]}  
 {"pcid":1,"pt":[-126.41,45.59,59,5]}

6、合并轨迹

聚合函数

-- Compare npoints(sum(patches)) to sum(npoints(patches))  
SELECT PC_NumPoints(PC_Union(pa)) FROM patches;  
SELECT Sum(PC_NumPoints(pa)) FROM patches;  
  
100

可变函数

create or replace function pcunion (VARIADIC pc pcpatch[]) returns pcpatch as $$  
  select PC_Union(pa) from unnest(pc) as pa;  
$$ language sql strict;  
  
select pcunion(pc1,pc2,...);

7、压缩点集

PC_Compress(p pcpatch,global_compression_scheme text,compression_config text) returns pcpatch

Allowed global compression schemes are:

  • auto: determined by pcid
  • laz: no compression config supported

  • dimensional: configuration is a comma-separated list of per-dimension compressions from this list

    • auto: determined automatically from values stats
    • zlib: deflate compression
    • sigbits: significant bits removal
    • rle: run-length encoding

8、3D影像的抠出

1 PC_FilterGreaterThan  
PC_FilterGreaterThan(p pcpatch, dimname text, float8 value) returns pcpatch:  
  
Returns a patch with only points whose values are greater than the supplied value for the requested dimension.  
  
SELECT PC_AsText(PC_FilterGreaterThan(pa, 'y', 45.57))  
FROM patches WHERE id = 7;  
  
 {"pcid":1,"pts":[[-126.42,45.58,58,5],[-126.41,45.59,59,5]]}  
  
2 PC_FilterLessThan  
PC_FilterLessThan(p pcpatch, dimname text, float8 value) returns pcpatch:  
Returns a patch with only points whose values are less than the supplied value for the requested dimension.  
  
3 PC_FilterBetween  
PC_FilterBetween(p pcpatch, dimname text, float8 value1, float8 value2) returns pcpatch:  
Returns a patch with only points whose values are between (excluding) the supplied values for the requested dimension.  
  
4 PC_FilterEquals  
PC_FilterEquals(p pcpatch, dimname text, float8 value) returns pcpatch:  
Returns a patch with only points whose values are the same as the supplied values for the requested dimension.

9、返回包住点集的几何"bound box"或"bound box的对角线"

通常用于在几何图像上创建geo索引:

SELECT ST_AsText(PC_EnvelopeGeometry(pa)) FROM patches LIMIT 1;  
POLYGON((-126.99 45.01,-126.99 45.09,-126.91 45.09,-126.91 45.01,-126.99 45.01))  
  
CREATE INDEX ON patches USING GIST(PC_EnvelopeGeometry(patch));  
SELECT ST_AsText(PC_BoundingDiagonalGeometry(pa)) FROM patches;  
                  st_astext  
------------------------------------------------  
LINESTRING Z (-126.99 45.01 1,-126.91 45.09 9)  
LINESTRING Z (-126 46 100,-126 46 100)  
LINESTRING Z (-126.2 45.8 80,-126.11 45.89 89)  
LINESTRING Z (-126.4 45.6 60,-126.31 45.69 69)  
LINESTRING Z (-126.3 45.7 70,-126.21 45.79 79)  
LINESTRING Z (-126.8 45.2 20,-126.71 45.29 29)  
LINESTRING Z (-126.5 45.5 50,-126.41 45.59 59)  
LINESTRING Z (-126.6 45.4 40,-126.51 45.49 49)  
LINESTRING Z (-126.9 45.1 10,-126.81 45.19 19)  
LINESTRING Z (-126.7 45.3 30,-126.61 45.39 39)  
LINESTRING Z (-126.1 45.9 90,-126.01 45.99 99)  
  
CREATE INDEX ON patches USING GIST(PC_BoundingDiagonalGeometry(patch) gist_geometry_ops_nd);

pgpointcloud 函数接口解读

1、点

PC_MakePoint(pcid integer, vals float8[]) returns pcpoint:

  • 构建点, pcid为schema, 相同schema可以表达为某一类点

PC_AsText(p pcpoint) returns text:

  • 将二进制点转换成text表达

PC_PCId(p pcpoint) returns integer (from 1.1.0):

  • 获取点的schema id

PC_Get(pt pcpoint) returns float8[]:

  • 获取点的所有维度值

PC_Get(pt pcpoint, dimname text) returns numeric:

  • 获取指定维度值: x,y,z,Intensity

PC_MemSize(pt pcpoint) returns int4:

  • 点占据内存大小

2、点集

PC_Patch(pts pcpoint[]) returns pcpatch:

  • 将多个点聚合为点集

PC_MakePatch(pcid integer, vals float8[]) returns pcpatch:

  • 构造点集

PC_NumPoints(p pcpatch) returns integer:

  • 返回点集中有多少点

PC_PCId(p pcpatch) returns integer:

  • 返回点集的schema id

PC_AsText(p pcpatch) returns text:

  • 将点集二进制格式转换为文本格式

PC_Summary(p pcpatch) returns text (from 1.1.0):

  • 返回点集的统计信息: 点个数, srid, 各个维度的avg,min,max统计等

PC_Uncompress(p pcpatch) returns pcpatch:

  • 解压点集

PC_Union(p pcpatch[]) returns pcpatch:

  • 将多个点集聚合为一个点集

PC_Intersects(p1 pcpatch, p2 pcpatch) returns boolean:

  • 判断两个点集的bound box是否相交

PC_Explode(p pcpatch) returns SetOf[pcpoint]:

  • 将点集展开为点(返回多条记录)

PC_PatchAvg(p pcpatch, dimname text) returns numeric:

  • 返回点集指定维度的平均值

PC_PatchMax(p pcpatch, dimname text) returns numeric:

  • 返回点集指定维度的最大值

PC_PatchMin(p pcpatch, dimname text) returns numeric:

  • 返回点集指定维度的最小值

PC_PatchMin(p pcpatch) returns pcpoint:

  • 返回点集所有维度的最小值

PC_PatchAvg(p pcpatch) returns pcpoint:

  • 返回点集所有维度的平均值

PC_PatchMax(p pcpatch) returns pcpoint:

  • 返回点集所有维度的最大值

PC_FilterGreaterThan(p pcpatch, dimname text, float8 value) returns pcpatch:

  • 过滤在某个‘指定维度’上大于‘指定’的点, 构成一个新的点集返回

PC_FilterLessThan(p pcpatch, dimname text, float8 value) returns pcpatch:

  • 过滤在某个‘指定维度’上小于‘指定值’的点, 构成一个新的点集返回

PC_FilterBetween(p pcpatch, dimname text, float8 value1, float8 value2) returns pcpatch:

  • 过滤在某个‘指定维度’上落在某‘指定值’范围内的点, 构成一个新的点集返回

PC_FilterEquals(p pcpatch, dimname text, float8 value) returns pcpatch:

  • 过滤在某个‘指定维度’上等于‘指定值’的点, 构成一个新的点集返回

PC_Compress(p pcpatch,global_compression_scheme text,compression_config text) returns pcpatch:

  • 压缩点集

PC_PointN(p pcpatch, n int4) returns pcpoint:

  • 返回点集内的第N个点

PC_IsSorted(p pcpatch, dimnames text[], strict boolean default true) returns boolean:

  • 判断点集在某些维度上是否有序

PC_Sort(p pcpatch, dimnames text[]) returns pcpatch:

  • 对点集按指定维度排序. 有点像电子管电视机的扫描顺序的概念

PC_Range(p pcpatch, start int4, n int4) returns pcpatch:

  • 返回点集中指定区间的点

PC_SetPCId(p pcpatch, pcid int4, def float8 default 0.0) returns pcpatch:

  • 设置点集的schema id

PC_Transform(p pcpatch, pcid int4, def float8 default 0.0) returns pcpatch:

  • 转换点集schema id

PC_MemSize(p pcpatch) returns int4:

  • 返回点集内存占用

3、GIS互动

PC_Intersects(p pcpatch, g geometry) returns boolean:
PC_Intersects(g geometry, p pcpatch) returns boolean:

  • 判断点集的bound box是否与几何对象交叉

PC_Intersection(pcpatch, geometry) returns pcpatch:

  • 提取点集内落在几何对象内的点构成新点集并返回

Geometry(pcpoint) returns geometry:
pcpoint::geometry returns geometry:

  • 将点转换为几何对象

PC_EnvelopeGeometry(pcpatch) returns geometry:

  • 提取点集的bound box, 返回由bound box四个点组成的polygon

PC_BoundingDiagonalGeometry(pcpatch) returns geometry:

  • 提取点集的bound box, 返回由bound box左下和右上点组成的对角线段

详细参考:

https://pgpointcloud.github.io/pointcloud/functions/index.html

文章标签：
云原生数据库 PolarDB
Cloud Native
vr&ar
并行计算
关系型数据库
索引
定位技术
PolarDB
算法
存储
分布式数据库
关键词：
云原生数据库 PolarDB开源
云原生数据库 PolarDB数据存储
云原生数据库 PolarDB管理
云原生数据库 PolarDB现实
云原生数据库 PolarDB开源pgpointcloud
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系，提升产品性能，打磨产品功能，从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手，打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系， 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台，为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案，提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
德哥
目录
相关文章
德哥
|
20天前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾（Standby）节点，实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点，使其能够接收读写请求。激活后，原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
德哥
30 1
德哥
|
20天前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
德哥
34 0
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务，以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储，具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程，并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外，还探讨了如何设计表结构及触发器函数自动处理客户反馈数据，以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果，展示了deepseek-r1模型的优势。
德哥
70 0
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版，还提供类似开源PostgreSQL的单机版。单机版部署简单，适合大多数应用场景，并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤，即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外，还有多个相关教程和视频链接供参考，帮助用户更好地理解和使用PolarDB单机版。
德哥
35 0
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”，依赖于先前搭建的实验环境。主要步骤包括：准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件，最后启动实例。通过这些操作，成功实现了从本地存储到共享存储的转换，并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
德哥
21 0
码农小达人
|
13天前
|
关系型数据库 分布式数据库 数据库
喜报｜PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
喜报｜PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
码农小达人
27 1
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课12 集群版转换为单机版
本文介绍了如何将“共享存储实例”转换为“本地存储实例”，实验环境依赖于Docker容器中的loop设备模拟共享存储。具体步骤包括准备本地目录、停库、拷贝数据、修改配置文件并启动实例。通过这些操作，可以实现从共享存储到本地存储的平滑转换。相关系列文章详细记录了PolarDB RAC一写多读集群的搭建与管理，提供了丰富的实战经验。
德哥
20 2
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课18 通过pg_bulkload适配pfs实现批量导入提速
本文介绍了如何修改 `pg_bulkload` 工具以适配 PolarDB 的 PFS（Polar File System），从而加速批量导入数据。实验环境依赖于 Docker 容器中的 loop 设备模拟共享存储。通过对 `writer_direct.c` 文件的修改，替换了一些标准文件操作接口为 PFS 对应接口，实现了对 PolarDB 15 版本的支持。测试结果显示，使用 `pg_bulkload` 导入 1000 万条数据的速度是 COPY 命令的三倍多。此外，文章还提供了详细的步骤和代码示例，帮助读者理解和实践这一过程。
德哥
36 0
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课16 接入PostGIS全功能及应用举例
本文介绍了如何在PolarDB数据库中接入PostGIS插件全功能，实现地理空间数据处理。此外，文章还提供了使用PostGIS生成泰森多边形（Voronoi diagram）的具体示例，帮助用户理解其应用场景及操作方法。
德哥
39 0
德哥
|
20天前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课10 计算节点全毁, 灾难恢复
本文介绍了在PolarDB RAC一写多读集群中，当所有计算节点（主机）故障仅剩共享存储时的修复方法。实验基于Docker容器和loop设备模拟共享存储环境。通过重建计算节点、恢复PolarDB实例及配置相关参数，最终成功恢复RW和RO节点的功能，确保数据完整性和集群正常运行。视频回放可在B站和YouTube上查看。
德哥
29 0
PolarDB开源

PolarDB PostgreSQL 版

热门文章

最新文章

  • 1
    如何一键本地部署PolarDB for PostgreSQL
  • 2
    PolarDB 开源基础教程系列 3 安装部署
  • 3
    PolarDB 开源版 使用TimescaleDB 实现时序数据高速写入、压缩、实时聚合计算、自动老化等
  • 4
    PolarDB-X 动手实践系列第一讲：如何一键部署开源 PolarDB-X
  • 5
    PolarDB 开源基础教程系列 1 架构解读
  • 6
    PolarDB 开源基础教程系列 9 开源社区合作和共建
  • 7
    PolarDB开源数据库进阶课15 集成DeepSeek等大模型
  • 8
    开源分布式数据库PolarDB-X源码解读——PolarDB-X源码解读（二）：CN启动流程
  • 9
    沉浸式学习PostgreSQL|PolarDB 16: 植入通义千问大模型+文本向量化模型, 让数据库具备AI能力
  • 10
    PolarDB 开源基础教程系列 7.4 应用实践之 AI大模型外脑
  • 1
    PolarDB开源数据库进阶课18 通过pg_bulkload适配pfs实现批量导入提速
    36
  • 2
    PolarDB开源数据库进阶课17 集成数据湖功能
    34
  • 3
    PolarDB开源数据库进阶课16 接入PostGIS全功能及应用举例
    39
  • 4
    PolarDB开源数据库进阶课15 集成DeepSeek等大模型
    70
  • 5
    PolarDB开源数据库进阶课14 纯享单机版
    35
  • 6
    PolarDB开源数据库进阶课13 单机版转换为集群版
    21
  • 7
    PolarDB开源数据库进阶课12 集群版转换为单机版
    20
  • 8
    PolarDB开源数据库进阶课11 激活容灾(Standby)节点
    30
  • 9
    PolarDB开源数据库进阶课9 读写分离
    36
  • 10
    PolarDB开源数据库进阶课10 计算节点全毁, 灾难恢复
    29

    • 相关产品

  • 云原生数据库 PolarDB
    文档详情 产品详情

    • 相关课程

    更多
  • PolarDB for PostgreSQL 开源人才初级认证培训课程
  • PolarDB for PostgreSQL 内核解读系列课程
  • 7天突破PolarDB for PostgreSQL 2022版
  • 关系型数据库ACP认证课程
  • 关系型数据库线上预习视频
  • PolarDB for PostgreSQL 入门

    • 相关电子书

    更多
  • PolarDB+AnalyticDB助力交通物流行业系统升级
  • PolarDB NL2SQL: 帮助您写出准确、优化的SQL
  • 云栖大会：开源 PolarDB 架构演进、关键技术与社区建设

    • 相关实验场景

    更多
  • PolarDB NL2SQL：自然语言驱动的数据智能
  • 倚天大数据电商数据分析快速实践
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • PolarDB for PostgreSQL 闪回特性体验
    • 下一篇
    获取百炼API-KEY