关系型数据库

标签 PostgreSQL , 资源 , 性能 , 抖动 , 评估 , 稳定性 背景 在数据库压测过程中，经常会遇到抖动的问题。为什么数据库会出现抖动呢？ 持续高水位压测（把资源用个精光）会抖，数据库后台进程要做检查点，垃圾回收，刷脏，操作系统也有回收脏页的操作。

标签 PostgreSQL , PPAS , 阿里云 背景 1、ppas手册(高度兼容Oracle)： https://www.enterprisedb.com/docs/en/11.0/EPAS_Oracompat_Ref_Guide_v11/toc.

标签 PostgreSQL , 实时轨迹 , IoT , 车联网 , GIS , 离散IO , 顺序IO , IO放大 , 聚合 , PGLZ压缩解压缩 , IN OUT函数消耗 背景 车联网场景，一个行程由若干个点组成，业务需要按行程查询，按。

标签 PostgreSQL , 实时轨迹 , IoT , 车联网 , GIS 背景 车联网，IoT场景中，终端为传感器，采集各个指标的数据（同时包括时间、GIS位置信息，速度，油耗，温度，EDU采集指标），在运动过程中，通过GPS准实时上报到服务端。

标签 PostgreSQL , DBA , 日常 背景 1、AWR 数据库健康报告， 《PostgreSQL AWR报告(for 阿里云ApsaraDB PgSQL)》 《如何生成和阅读EnterpriseDB (PPAS(Oracle 兼容版)) AWR诊断报告》 2、查看TOP SQL，以...

标签 PostgreSQL , 参数 , 模板 , postgresql.conf , pg_hba.conf , postgresql.auto.conf 背景 系统参数模板 《PostgreSQL on Linux 最佳部署手册 - 珍藏级》 《PostgreSQL 10 + PostGIS + Sharding(pg_pathman) + MySQL(fdw外部表) on ECS 部署指南(适合新用户) - 珍藏级》 PostgreSQL 11 postgresql.conf 参数模板 内有注释，建议找到对应文章查看详细背景和原理介绍。

标签 PostgreSQL , ddos , 拒绝服务 , 锁 , SLOT 背景 连接数据库的过程中，需要数据库有足够的SLOT（连接槽，通过max_connections配置），认证。如果把连接槽位占用，或者在认证过程加锁（使得认证过程被锁），则可以制造DDOS攻击。

标签 PostgreSQL , recovery.conf , postgresql.conf 背景 PostgreSQL 12版本以前，配置PostgreSQL数据库恢复、流复制STANDBY，都需要配置recovery.conf，如果要修改配置，需要重启数据库。

标签 PostgreSQL , uuid , 无序uuid , 索引分裂 , io , 性能诊断 背景 无序UUID会带来很多问题，例如索引分裂膨胀，离散IO，WAL膨胀等，详见以前的分析。 Regular random UUIDs are distributed uniformly over the whole range of possible values.

标签 PostgreSQL , 多维 , 图像 , cube , imgsmlr , 压缩 , 分段 , 异步并行 , 欧式距离 背景 向量相似搜索越来越流行，PostgreSQL imgsmlr，cube插件分别应用于向量类型的存储，以及向量距离排序输出搜索。

标签 PostgreSQL , 背景 数据库有两大块buffer，wal buffer和shared buffer。 wal buffer是预写日志缓冲区。 shared buffer是数据页缓冲区。

标签 PostgreSQL , 空间聚合 , 空间热力图 , 行政区 , 电子围栏 背景 某个时间区间(或其他条件)，出现在某些围栏、行政区(多边形信息)中的对象(空间点信息)有多少，按颜色深浅渲染这些多边形。

标签 PostgreSQL , Oracle , 函数结果缓存 , 函数三态 , immutable , stable , volatile 背景 Oracle 11g 支持的一个新特性，在创建PL/SQL函数时，可以指定这个存储过程是否需要对结果进行缓存，缓存内容在SGA内存区域。

标签 PostgreSQL , 流计算 , pipelinedb 背景 术语 1、stream，流。数据写入流中，流不落盘。流通常会接continue view或continue transform，用于存储实时计算的结果(continue view)，或者定义对流数据进行处理的规则(continue transform)。

标签 PostgreSQL , session_preload_libraries , psql: FATAL: could not access file "pg_pathman": No such file or directory 背景 由于粗心，设错了session_preload_l...

标签 PostgreSQL , online ddl , trigger , ddl 事务 背景 有张表的主键id是serial，但现在不够了，需要升级成bigserial，有什么优雅的方法吗？我看下来好像会锁表很久（因为数据量挺大） 如果直接alter table，由于数据类型从4字节改成了8字节，而tuple结构是在METADATA里面的，不是每行都有，所以DEFORM需要依赖METADATA，目前来说，这种操作需要rewrite table。

标签 PostgreSQL , edb , ppas , Oracle 兼容 背景 云数据库PPAS版，是阿里云与EnterpriseDB公司(简称EDB)合作基于PostgreSQL高度兼容Oracle语法的数据库服务，为用户提供易于操作的迁移工具，兼容范围涵盖：PL/SQL、数据类型、高级函数、表分区等。

标签 PostgreSQL , IoT , 轨迹聚合 , pipelinedb , 流计算 , 实时聚合 背景 IoT场景，车联网场景，共享单车场景，人的行为位点等，终端实时上报的是孤立的位点，我们需要将其补齐成轨迹。

标签 PostgreSQL , GET , STACKED , DIAGNOSTICS 背景 使用GET STACKED DIAGNOSTICS捕获异常时的STACK内容。 使用GET DIAGNOSTICS捕获运行过程中的状态值。

标签 PostgreSQL , datediff 背景 使用datediff，对时间或日期相减，得到的间隔，转换为目标单位(日、月、季度、年、小时、秒。。。等)的数值。 DATEDIFF ( datepart, {date|timestamp}, {date|timestamp} ) 周...

标签 PostgreSQL , order-set agg , listagg , string_agg , order 背景 listagg — Rows to Delimited Strings The listagg function transforms values from a g...

标签 PostgreSQL , dns , python , gethostname , gethost 背景 在数据库中，根据主机名获得IP，根据IP解析主机名。 这个功能没有什么花哨，可以通过C函数或者PYTHON函数得到。

标签 PostgreSQL , 分区表 , 继承表 , 去重 , only 背景 当使用数据库分区或继承功能，在PK层面上出现分区与分区，或分区与主表出现了重复的键值时，可以通过tableoid进行甄别，同时通过ONLY TABLE的操作方法进行删除。

标签 PostgreSQL , merge insert , upsert , insert into on conflict , 区分 insert update , xmin , xmax 背景 使用insert into on conflict update语法，可以支持UPSERT的功能，但是到底这条SQL是插入的还是更新的呢？如何判断 通过xmax字段的值是否不为0，可以判断，如果是UPDATE，XMAX里面会填充更新事务号。

标签 PostgreSQL , cube , 空间 , 几何 , 相交 , 包含 背景 多维空间对象的几何运算，高效率检索实践。 例如我们在数据库中存储了多维几何对象，可以使用lower, upper的数组来表达，例如3维度对象： CUBE [ xmin1 ymin1 zmin1 , xmax1 ymax1 zmax1 ] 在介绍CUBE类型前，我们可以使用6个字段(xmin,xmax,ymin,ymax,zmin,zmax)来表达一个立方体。

标签 PostgreSQL , cube , imgsmlr , 相似人群 , 人群扩选 , 精准营销 , 人群画像 , 推荐系统 背景 PostgreSQL 相似插件非常多，插件的功能以及用法如下： 《PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)》 相似人群分析在精准营销，推荐系统中的需求很多。

标签 PostgreSQL , 数组 , 随机 , order by random() 背景 在业务系统中，有些场景会用到随机返回的功能，例如论坛，有很多帖子（比如有100万贴），有些是精华帖（比如有5万贴），为了让精华帖可以均衡的被访问，需要将5万贴随机的分页返回给用户。

标签 PostgreSQL , 乱码 , 文件编码 背景 当用户客户端字符集与服务端字符集不匹配时，写入的多字节字符（例如中文）可能出现乱码。 例子 数据库字符集为sql_ascii，允许存储任意编码字符。

标签 PostgreSQL , join , limit , startup cost , cbo , 优化器改进 背景 PostgreSQL limit N的成本估算，是通过计算总成本A，以及估算得到的总记录数B得到： (N/B)*A 大概意思就是占比的方法计算 对于单表查询...

标签 PostgreSQL , pg_top , pgcenter 背景 PostgreSQL 的统计信息、实时会话信息、操作系统状态信息等汇总，统计，展示。 https://www.postgresql.

标签 PostgreSQL , pgmetrics , check_postgres 背景 pgmetrics，GO写的一款PostgreSQL 多版本、健康监控指标采集、报告开源软件。 https://github.com/rapidloop/pgmetrics 结合pgdash，可以实现被监控PG实例的可视化，指标值变更告警等。

标签 PostgreSQL , postgis , pglz_decompress , perf , tuning 背景 在空间数据中，通常会有轨迹、点、面的数据，假设有两张表，一张为面的表，一张为点的表，使用包含 ST_xxxx(c.geom, p.geom) 来进行JOIN（例如以面为单位，聚合统计点的数量）。

本文主要描述下MySQL8.0在网络模块的几个小优化, 由于本人对server层代码不熟悉，所以只是列出自己的理解和相关的patch以及worklog，不做深入详细实现的解释，感兴趣的可自行从连接中找到对应的代码 admin Port 运维大并发负载数据库的同学经常会碰到的情况是，max_connection被占满，甚至root账户都无法登陆上去，kill掉这些链接来让实例恢复正常。

轻松筹首创了“大病救助”模式，帮助了众多病患在第一时间解決了医疗资金等问题，为了从源头解决了医疗资金问题。而在轻松筹这样全球5.5亿用户信赖的大病筹款平台的背后，是日益增长的各种数据。面对这样数据量所造成的巨大挑战，阿里云POLARDB是如何帮助轻松筹践行“善DNA”的呢？本文就为大家分享。

标签 PostgreSQL , UDT , 自定义类型 背景 PG 允许用户自定义复合类型，自定义复合类型由多个类型组成，使用时会引入一些deform的开销。 例子 postgres=# create unlogged table t(id int, c1 tp1, c2 int); C...

标签 PostgreSQL , Greenplum , 6 , gin , 异步事务 背景 Greenplum 6已合并到PostgreSQL 9.3版本 - 相比5性能提升：读8倍，更新、删除195倍 - 另有大量PG新特性，详见PostgreSQL release notes https://www.postgresql.org/docs/11/static/release.html 例如 1、GIN、SPGIST 索引接口。

标签 PostgreSQL , Heap Only Tuple , HOT 背景 PostgreSQL目前默认的存储引擎在更新记录时，会在堆内产生一条新版本，旧版本在不需要使用后VACUUM回收，回收旧版本前，需要先回收所有关联这个版本的所有索引POINT。

标签 PostgreSQL , 内存表 , unlogged table 背景 内存表，通常被用于不需要持久化，变更频繁，访问RT低的场景。 目前社区版本PostgreSQL没有内存表的功能，postgrespro提供了两个插件可以实现类似内存表的功能。

标签 PostgreSQL , tpcc , tpcb 背景 TPCC, TPCB是工业标准的OLTP类型业务的数据库测试，包含大量的读、写、更新、删除操作。 7*24小时强压耐久测试，主要看数据库在长时间最大压力下的 性能、稳定性、可靠性。

标签 PostgreSQL , pgbench , tpcb 背景 pgbench是PG的一款测试工具，内置的测试CASE为tpcb测试。同时支持用户自己写测试CASE。 大量自定义CASE参考 https://github.com/digoal/blog/blob/master/201711/readme.md 当我们使用tpcb测试CASE时，如果生成的数据量过于庞大，例如我最近在生成1万亿的CASE，可以考虑使用分区表，但是目前PG内置分区表的性能在分区非常多时，使用PREPARED STATEMENT会导致性能下降。

标签 PostgreSQL , pgbench , tpcb 背景 pgbench是PG的一款测试工具，内置的测试CASE为tpcb测试。同时支持用户自己写测试CASE。 大量自定义CASE参考 https://github.com/digoal/blog/blob/master/201711/readme.md 本文为pgbench 内置tpcb的解读。

标签 PostgreSQL , brin索引 , gin索引 , 合并延迟 , gin_pending_list_limit , 查询性能下降 背景 GIN索引为PostgreSQL数据库多值类型的倒排索引，一条记录可能涉及到多个GIN索引中的KEY，所以如果写入时实时合并索引，会导致IO急剧增加，写入RT必然增加。

标签 PostgreSQL , pgbench , tpcb , tpcc , tpch , lvm2 , zfs , 条带 背景 最近的几个PostgreSQL OLTP与OLAP的测试： 《PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbe...

标签 PostgreSQL , pgbench , tpcb , tpcc , tpch 背景 https://help.aliyun.com/knowledge_detail/64950.html 阿里云ESSD提供了单盘32TB容量，100万IOPS，4GB/s读写吞吐的能力，单台ECS可以挂载16块ESSD盘，组成512 TB的大容量存储。

标签 PostgreSQL , tpcb , pgbench , 100亿 背景 PostgreSQL 11 发布在即，以下是tpcc与tpch测试的结果： 《PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc by Percona-Lab》 《(TPC-H测试 SF=10,SF=200) PostgreSQL 11 vs 10 vs Deepgreen》 tpcb是pgbench标准测试CASE，本文使用与以上同样的测试机器（部署方式请参考以上），测试100亿tpch的性能。

标签 PostgreSQL , topn , topn.number_of_counters , count(*) group by order by count(*) desc limit x 背景 count(*) group by order by count(*) desc limit x 用来统计 topn。

标签 PostgreSQL , hll , hyperloglog , distinct , 加速 , citus.count_distinct_error_rate 背景 在分布式数据库中，计算count(distinct xxx)，需要对distinct 的字段， 1、去重， 2、重分布去重后的数据，（这一步，如果distinct值特别多，那么就会比较耗时） 3、然后再去重， 4、最后count (xxx)， 5、求所有节点的count SUM。

标签 PostgreSQL , pgsocket 背景 PostgreSQL 插件，向外部tpc/ip socket服务发生字节流。 pgsocket is an extension for PostgreSQL server to send bytes to remote TCP/IP socket server.

标签 PostgreSQL , pgadmin , gis , 编辑 背景 pgadmin 4 v3.3 开始支持geometry 类型的展示。 https://www.postgresql.org/ftp/pgadmin/pgadmin4/v3.3/windows/ 如果geometry使用的是SRID 4326 (WGS 84 lon/lat)坐标系，则pgadmin会自动从OpenStreetMap 加载图层，作为背景。

标签 PostgreSQL , tpcc 背景 环境 阿里云虚拟机 [root@pg11-test ~]# lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: ...