德哥_社区达人页

一致性哈希在分布式数据库中的应用探索

背景 在分布式数据库中，设计数据分布算法通常需要考虑到几点 平衡性(Balance)平衡性是指哈希的结果能够尽可能分布到所有的分片节点中去，这样可以使得所有的分片节点都得到利用。 很多哈希算法都能够满足这一条件。 单调性(Monotonicity)单调性是指如果已经有一些内容通过哈希

PostgreSQL 递归死循环案例及解法

背景 PostgreSQL 提供的递归语法是很棒的，例如可用来解决树形查询的问题，解决Oracle用户 connect by的语法兼容性。 请参考https://yq.aliyun.com/articles/54657 但是如果参与递归查询的数据集有问题，例如数据打结的问题。则会导致递

关键时刻HINT出彩 - PG优化器的参数优化、执行计划固化CASE

背景 有过数据库使用经验的童鞋可曾遇到过SQL执行计划不准确，或者SQL执行计划抖动的问题。 PostgreSQL的执行计划与大多数的企业数据库是一样的，都是基于成本优化。 基于成本优化的优化器，在算法靠谱，统计信息准确的前提下，通常得到的执行计划是比较准确的。 那么什么时候执行

如何查看sshd当前配置 (gcore, gdb 的妙用)

Greenplum 大集群应该调整的sshd_config配置

背景 Greenplum是MPP数据库，所以大的集群可能涉及很多的主机以及很多的segments。 Greenplum的很多管理脚本都会涉及ssh的连接，通过SSH进行远程的管理或命令的调用。 因此如果有并发的管理任务，会建立很多的SSH会话。 但是默认情况下Linux的sshd

SSH服务的几个超时参数 以及 类似DDOS攻击的方法

背景 sshd是Linux的一个常用的网络连接的服务，通常被用来远程连接，管理服务器。 一般我们很少去配置sshd，本文要给大家分享几个sshd的参数，有超时参数，有触发拒绝连接的参数等等。 如果你哪天遇到类似的问题，也行能帮助你找到问题的根源。 sshd 空闲超时参数 man

阿里云RDS for PostgreSQL用户如何定制数据库参数

背景 为了满足大多数用户的需求，阿里云提供的RDS PG，数据库参数是根据通用性场景设置的。 如果用户不是通用的场景，或者用户有自定义参数的需求怎么办呢？ 首先数据库的参数是分级的，有些参数允许在高层设置，例如运行时的参数。 PostgreSQL参数分级 环境变量 配置文件(

RDS PG/PPAS 用户连接规划

背景 PostgreSQL在设计时为DBA考虑了保留连接，通过参数superuser_reserved_connections来控制，也就是说当数据库的最大连接为100时，普通用户最多能连100-superuser_reserved_connections个连接。 剩余的连接是给超级用户保留

PostgreSQL 编译选项-g的影响

聊一聊双十一背后的技术 - 物流, 动态路径规划

背景 物流行业是被电子商务催生的产业之一。 快件的配送和揽件的调度算法是物流行业一个非常重要的课题，直接关系到配送或揽件的时效，以及物流公司的运作成本。 好的算法，可以提高时效，降低成本，甚至可以更好的调动社会资源，就像滴滴打车一样，也许能全民参与哦。 以后也许上班路途还

Greenplum 数据分布黄金法则 - 论分布列与分区的选择

背景 阿里云ApsaraDB for Greenplum公测以来，已经收到好多用户的公测申请。 要使用Greenplum，登陆到数据库后第一件事当然是建表，然后倒入数据开测。 大部分用户以前是使用MySQL的，并没有接触过Greenplum，语法需要适应一下。 例如MySQL中的

阿里云ApsaraDB RDS用户 - OLAP最佳实践

背景 随着大数据分析型产品越来越丰富、细化，用户可能会看得眼花缭乱，如果对产品没有深度的理解，选错了岂不是劳民伤财？ 本文将给大家分析一下RDS用户应该如何选择适合自己的大数据的分析产品，以及最佳实践方案。 用户环境分析 以最常用的服务举例，通常云用户会购买的产品如下 EC

Greenplum 资源隔离的原理与源码分析

背景 Greenplum是一个MPP的数据仓库系统，最大的优点是水平扩展，并且一个QUERY就能将硬件资源的能力发挥到极致。 但这也是被一些用户诟病的一点，因为一个的QUERY就可能占光所有的硬件资源，所以并发一多的话，query相互之间的资源争抢就比较严重。 Greenplum资源隔

PostgreSQL 索引扫描offset内核优化 - case

背景 order by xx offset xx limit xx ， 通常被用来做分页的查询，但是你会发现offset越多，越慢。 offset很多的情况下，即使没有sort，走的是索引，也会很慢。 原因分析，PostgreSQL的索引上面没有版本信息，所以行是否可见的话，需要通过索

Greenplum ORCA 优化器的编译安装与使用

背景 ORCA 是PostgreSQL的下一代优化器，在QUERY的优化上比自带的优化器有长足的进步。 安装ORCA cmake wget https://cmake.org/files/v3.5/cmake-3.5.2.tar.gz tar -zxvf cmake-3.5.2.tar

三张图读懂Greenplum在企业的正确使用姿势

第一张 老外通常如何使用数据仓库 数据仓库的使用人员通常是数据分析师，一个成熟的分析模型的建立，可能需要多次的数据模型分析试错。 通常试错不会允许直接在任务库中执行，因为很容易干扰任务库的任务处理，你一定不想因为试错导致报表不能按时输出吧，相信老板会让你好看的。 因此老外通常会将数据

PostgreSQL 数据访问 offset 的质变 case

背景 offset limit是一个多么场景的需求啊，但是你知道offset的数据可能隐藏着质变吗？ 如图 node有30W条数据，其中前100条是满足条件的，然后100条到20W条都是不满足条件的。所以offset 10 limit 10非常的快。但是offset 100 limi

PostgreSQL 老湿机图解平安科技遇到的垃圾回收"坑"

背景 从海安那里反馈的一个问题，是平安科技在使用PostgreSQL的过程中，遇到的一个有些"不可思议"的问题。 一张经常被更新的表，通过主键查询这张表的记录时，发现需要扫描异常多的数据块。 其实原因有2。 .1. 长事务有关，我在很多文章都提到过，PG在垃圾回收时，只判断垃圾版

如何防止远程程序与RDS PG连接中断

PostgreSQL PL/Perl 钩子安全性分析

背景 plperl 是PostgreSQL支持的函数语言之一。 在使用plperl时，可以使用plperl提供的钩子功能，满足一些特殊场景的需求。 钩子分2种，一种是加载plperl.so库时的钩子，一种是加载perl语言解释器时的钩子。 钩子用法介绍 加载plperl.so库

PostgreSQL Oracle 兼容性 之 - PL/SQL record, table类型定义

背景 Oracle PL/SQL是非常强大的一门SQL编程语言，许多Oracle用户也使用它来处理一些要求延迟低且数据一致性或可靠性要求很高的业务逻辑。 PostgreSQL也有一门非常高级的内置SQL编程语言，plpgsql。与Oracle PL/SQL语法极其类似，但是还是有一些不一样的

连接 0.0.0.0/32 发生了什么

根据RFC 3330, 1700 的描述, 0.0.0.0/32 可以用作当前网络的源地址。 0.0.0.0/8 - Addresses in this block refer to source hosts on "this" network. Address 0.0.0.0/32

PostgreSQL cluster大幅减少nestloop离散IO的优化方法

背景 对于较大数据量的表，如果在索引字段上面有小结果集JOIN，用nestloop JOIN是比较好的方法。 但是nestloop带来的一个问题就是离散IO，这个是无法回避的问题，特别是硬件IO能力不行的情况下，性能会比较糟糕。 有什么优化方法呢？ PostgreSQL提供了一个

[转载]聊聊Greenplum的那些事

阿里云数据库Greenplum版发布啦

经过阿里云ApsaraDB小伙伴们几个月的不懈努力，Greenplum 终于上云了。 云数据库Greenplum版（ApsaraDB for Greenplum）是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品，提供全面的SQL支持(包括符合SQL2008标准的OLAP

PostgreSQL relcache在长连接应用中的内存霸占"坑"

除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生成执行计划的效率，还提供了catalog, relation等缓存机制。PostgreSQL 9.5支持的缓存如下 ll src/backend/utils/cache/ attoptcache.c catcache.c

PostgreSQL 多路并行 xlog 设计

本文截取自《多核处理器下事务型数据库性能优化技术综述》http://www.cnki.com.cn/Article/CJFDTotal-JSJX201509012.htm 数据库的redo记录了事务的重做信息，它最重要的功能之一是用来恢复数据库，例如当数据库crash后，需要从数据库的一致检查点开

PostgreSQL雕虫小技，分组TOP性能提升44倍

业务背景 按分组取出TOP值，是非常常见的业务需求。比如每位歌手的下载量TOP 10的曲目。 传统方法 传统的方法是使用窗口查询，PostgreSQL是支持窗口查询的。例子测试表和测试数据，生成10000个分组，1000万条记录。 postgres=# create table t

PostgreSQL 内核扩展之 - 管理十亿级3D扫描数据(基于Lidar产生的point cloud数据)

如何生成和阅读EnterpriseDB (PPAS)诊断报告

PPAS是基于PostgreSQL的高度兼容Oracle的商业产品。 不仅语法和Oracle兼容，功能也和Oracle很类似。 例如它也支持生成类似statspack或者AWR报告。 如何创建快照 配置参数timed_statistics=true或者在客户端会话中设置timed

PostgreSQL内核扩展之 - ElasticSearch同步插件

背景介绍 Elasticsearch 是开源搜索平台的新成员，实时数据分析的神器，发展迅猛，基于 Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装＋使用方便。 PostgreSQL 是起源自伯克利大学的开源数据库，历史悠久，内核扩展性极强，用户

找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南

基于PostgreSQL打造最好用的私人订制数据库 花了2个通宵，写了一份入门的PostgreSQL内核扩展指南。 希望更多人对PostgreSQL内核扩展有个初步的了解，内核扩展并不需要对数据库内核有非常深的了解，用户只要把重点放在业务上，利用PostgreSQL开放的API实现对数据

PostgreSQL 9.6 开放自定义WAL(REDO)接口

PostgreSQL ident和peer基于操作系统用户的认证

PostgreSQL支持的认证方法非常多，除了自身的密码认证以外，还支持很多其他认证服务。 trust md5 password GSSAPI SSPI Ident Peer LDAP RADIUS PAM Certificate BSD 详见https://

为了部落 - 如何通过PostgreSQL基因配对，产生优良下一代

PostgreSQL凭借良好的扩展性，不仅仅是一个数据库，更是一个有非常强大的数据处理能力的数据平台。很多垂直行业的用户拿它来做各种和业务贴合非常紧密的事情。 本文给大家分享的是PostgreSQL在生命科学领域的应用案例 - 基因工程。 通常的思维可能是这样的，把数据存在数据库，需要

page fault带来的性能问题

Linux进程如何访问内存 Linux下，进程并不是直接访问物理内存，而是通过内存管理单元(MMU)来访问内存资源。原因后面会讲到。 为什么需要虚拟内存地址空间 假设某个进程需要4MB的空间，内存假设是1MB的，如果进程直接使用物理地址，这个进程会因为内存不足跑不起来。既然进程不是直接访问

PostgreSQL plan cache 源码浅析 - 如何确保不会计划倾斜

早上写了一篇文章，可以看到PostgreSQL为开发人员着想的，设计得非常人性化。《为什么用 PostgreSQL 绑定变量 没有 Oracle pin S 等待问题》https://yq.aliyun.com/articles/55698 同时也收到了一些朋友发来的问题，有朋友问我Postg

PostgreSQL 递归SQL 找出对象依赖

在使用数据库时，如果用到了视图，物化视图。在表，视图，物化视图这些对象之间就会产生依赖。例如 create table t(id int); create view v1 as select * from t; create view v2 as select * from v1; cr

PostgreSQL 创建库时如何指定 Collate, Ctype

初始化集群，建库，建表，建索引，sort | compare QUERY时都可以指定COLLATE。用法参考https://www.postgresql.org/docs/9.5/static/sql-createtable.htmlhttps://www.postgresql.org/docs/.

为什么用 PostgreSQL 绑定变量 没有 Oracle pin S 等待问题

早上看到盖国强老师在朋友圈里分享了一篇关于软解析带来的Pin S等待的问题。有感而发，跟大家聊一聊为什么PostgreSQL不存在这个问题。 Oracle 在Oracle中多个会话高并发的执行同一条SQL，如果使用了绑定变量的话，会产生pin s的等待事件。原因如下（取自互联网http://

PostgreSQL 同步流复制原理和代码浅析

数据库ACID中的持久化如何实现 数据库ACID里面的D，持久化。 指的是对于用户来说提交的事务，数据是可靠的，即使数据库crash了，在硬件完好的情况下，也能恢复回来。PostgreSQL是怎么做到的呢，看一幅图，画得比较丑，凑合看吧。假设一个事务，对数据库做了一些操作，并且产生了一些脏数据，

大量使用临时表带来的问题，替代方案，以及如何擦屁股

以前有使用Greenplum的朋友遇到元表膨胀的问题，总结了原因写了一篇文章如下。建议先阅读这篇文档，再阅读本文，里面有些原理我在本文就不讲了。http://blog.163.com/digoal@126/blog/static/1638770402014616113353555 近日，又有使用P

PostgreSQL Oracle 兼容性之 - PL/SQL FORALL, BULK COLLECT

Oracle PL/SQL 开发的童鞋，一定对O家的bulk批量处理的性能很是赞赏吧。但是PostgreSQL用户请不要垂涎，作为学院派和工业界的一颗璀璨明珠。开源数据库PostgreSQL，也有对应的批量处理策略哦。下面是一组LOOP和BULK的性能测试数据 一起来耍耍吧，先看看Oracle怎么

Linux Zombie进程状态介绍 以及 如何清理

Linux 进程有哪些状态 通过ps的帮助手册，能看到进程有几种状态 man ps D uninterruptible sleep (usually IO) R running or runnable (on run

PostgreSQL Oracle兼容性之 - connect by

EnterpriseDB (PPAS) Oracle兼容性Virtual Private Database(VPD) 数据隔离以及当前缺陷

不带barrier的视图是不安全的，我在前面写过文章来讲这个，以及如何攻击这种视图。https://yq.aliyun.com/articles/14731PostgreSQL 为了增强视图的安全，增加了barrier的属性，来解决被攻击的问题。PostgreSQL 9.5 则提供了RLS来达到表.

PostgreSQL merge json的正确姿势

json merge是业务常用的功能，例如网络爬虫，更新合并新爬到的内容。PostgreSQL 9.5 对JSON的类型进行了非常大的功能增强，例如支持合并，按KEY删除，更新KEY VALUE等。以合并为例以右边的值为准，支持嵌套值的合并。 postgres=# select jsonb '

在java中正确使用PostgreSQL大对象和字节流类型的姿势

Linux cgroup资源隔离各个击破之 - cpu隔离1

Linux cgroup 有两个子系统支持CPU隔离。一个是cpu子系统，另一个是cpuset子系统。 cpu子系统包括两种CPU资源隔离方法 .1. 完全公平调度 Completely Fair Scheduler (CFS) .2. 实时调度 Real-Time scheduler (

PostgreSQL的"天气预报" - 如何预测Freeze IO风暴

还记得我写的这篇文档吗？ 《PostgreSQL 大表自动 freeze 优化思路》https://yq.aliyun.com/articles/50411 文章主要针对如何优化大表的freeze调度来解决IO风暴的问题。 预测 IO 风暴 那么在没有针对性的调度策略之前，我们如何预测