关系型数据库

背景 在大数据分析中，通常会有一些估值的需求，例如估计某个时间段有多少新增用户，估计某个时间段有多少用户。 常用的估值算法如HyperLogLog，还有一些其他的估值算法。 可以参考http://www.pipelinedb.com/ 我在几年前写过如何在PostgreSQL中使用HLL，请

场景 PostgreSQL支持多表JOIN的更新操作，但是如果SQL没有写好，可能会导致出现笛卡尔积的情况。 如果是条查询语句，出现笛卡尔积时，没什么问题，大不了就是查询慢一点。 如果是条更新语句，现在看来可能代码中有内存泄露的BUG，已反馈给PG社区。 另外需要注意P

title: SQLServer · 最佳实践 · RDS for SQL Server 2012 权限限制的提升与改善 author: 石沫 背景 SQL Server 作为一种强大的关系型数据库，能够提供所有场景的应用。

看完并理解这些文章，相信你会和我一样爱上PostgreSQL，并成为PostgreSQL的布道者。 沉稳的外表无法掩饰PG炙热的内心 。 扩展阅读，用心感受PostgreSQL 内核扩展 《找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南》https://yq.

背景 在日常的生活中，我们可能会经常需要一些像相近、相仿、距离接近、性格接近等等类似这样的需求，对数据进行筛选。 这些需求PostgreSQL居然都支持，是不是很变态。 变态的例子 按长相相似度排序 比如最近的王宝强和马蓉的事件，估计很多人会拿宋喆的照片进行相似度的搜索，八卦八卦。

背景 如何评估QUERY的响应时间？ 需要买什么样的硬件能满足为了业务XXX的需求？ 这种问题在企业中非常常见，但是估计大多数是拍脑袋的回复，做得更好点，可能是根据业务的benchmark提供的数据，给一个拍脑袋的决定。 本文将针对数据库的QUERY展开，看看应该如何正确的评估Q

CASE 一个这样的查询，每个表都只有几千条数据，但是查询非常慢，几十秒不出结果。 select distinct abc.pro_col1, abc.col3 from t0 p INNER JOIN t1 abc on p.id=abc.par_col2

背景 之前写过几篇 PostgreSQL 并行计算的文章，文中并没有仔细描述PostgreSQL是如何决策并行计算，以及并行度的。 开源数据库PostgreSQL攻克并行计算难题https://yq.aliyun.com/articles/44655 PostgreSQL 并行计算 在

背景 前几天写了一篇关于旋转门的数据压缩算法在PostgreSQL中的实现，里面用到了PostGIS里面的ST_Azimuth函数用来计算夹角，其实在PostgreSQL 中，我们还可以使用三角函数，以及三边来求夹角。 https://yq.aliyun.com/articles/59101

PostgreSQL 控制文件在$PGDATA/global目录下名为pg_control. 控制文件中记录了以下三部分信息 : 1. initdb时生成的静态信息 : pg_control version number: 922 C

背景 在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。 例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。 又比如金融行业的走势数据等等。 我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。

云数据库·ApsaraDB 产品8月刊

背景 100万个数据库连接，绝逼疯了，常人怎么会干这种事情。 没错，数据库支持100万个连接意味着什么呢？不能用连接池吗？ 其实除了抱着玩一玩的心态，从另一方面也能了解到操作系统层的一些知识，何乐不为呢？ 碰壁 根据我前几天写的《如何度量Kernel Resourc

背景 操作系统为了适应更多的硬件环境，许多初始的设置值，宽容度都很高。 如果不经调整，这些值可能无法适应HPC，或者硬件稍好些的环境。 无法发挥更好的硬件性能，甚至可能影响某些应用软件的使用，特别是数据库。 数据库关心的OS内核参数 512GB 内存为例 参数

背景 在使用数据库过程中，用户可能会封装一些函数，用来返回一些映射值。 例如，有一张表存储了学号和学生名字，写一个函数，根据学号，返回学生名字。 SQL如下 : create table tab(id int primary key, std_name name); cr

背景 对于操作系统来说，数据库算是比较大型的应用，往往需要耗费大量的系统资源，特别是在内部进程间通信这块的资源。 操作系统默认的配置可能无法满足数据库对资源使用的需求。 那么应该如何根据数据库的需要，设置操作系统相关资源参数呢？ PostgreSQL 对系统资源的需求计算 在讲

承蒙中国MySQL用户组（CMUG, China MySQL User Group）这次邀请了MySQL之父Monty进行一次中国行活动，作为CMUG的主席团成员和MariaDB基金会的Maria Captains（基金会的Committor），也利用“职务之便”顺手将Monty邀请到了阿里进行一次

背景 图片搜索是继文字搜索后又一个比较常用的搜索引擎。 市面上常见的搜索引擎有谷歌、百度、搜狗等图片搜索引擎。http://image.baidu.com/http://images.google.com.hk 例如在搜索引擎提供的接口中上层了一张雪人的图片，搜出来一堆和雪人近似的图

背景 PostgreSQL的全文检索接口是开放API的，所以中文分词的插件也非常多，例如常用的scws分词插件，还有结巴分词的插件。 但是你在使用结巴分词插件的时候，有没有遇到这样的问题。 每个会话，第一次查询会比较慢，接下来的查询就快了。 例如 psql (9.5.3)

背景 在有些应用场景中，可能会涉及多个字段的匹配。 例如这样的场景，一张表包含了几个字段，分别为歌手，曲目，专辑名称，作曲，歌词， 。。。 用户可能要在所有的字段中以分词的方式匹配刘德华，任意字段匹配即返回TRUE。 传统的做法是每个字段建立分词索引，然后挨个匹配。

背景 在分布式数据库中，设计数据分布算法通常需要考虑到几点 平衡性(Balance)平衡性是指哈希的结果能够尽可能分布到所有的分片节点中去，这样可以使得所有的分片节点都得到利用。 很多哈希算法都能够满足这一条件。 单调性(Monotonicity)单调性是指如果已经有一些内容通过哈希

背景 PostgreSQL 提供的递归语法是很棒的，例如可用来解决树形查询的问题，解决Oracle用户 connect by的语法兼容性。 请参考https://yq.aliyun.com/articles/54657 但是如果参与递归查询的数据集有问题，例如数据打结的问题。则会导致递

背景 有过数据库使用经验的童鞋可曾遇到过SQL执行计划不准确，或者SQL执行计划抖动的问题。 PostgreSQL的执行计划与大多数的企业数据库是一样的，都是基于成本优化。 基于成本优化的优化器，在算法靠谱，统计信息准确的前提下，通常得到的执行计划是比较准确的。 那么什么时候执行

背景 为了满足大多数用户的需求，阿里云提供的RDS PG，数据库参数是根据通用性场景设置的。 如果用户不是通用的场景，或者用户有自定义参数的需求怎么办呢？ 首先数据库的参数是分级的，有些参数允许在高层设置，例如运行时的参数。 PostgreSQL参数分级 环境变量 配置文件(

背景 PostgreSQL在设计时为DBA考虑了保留连接，通过参数superuser_reserved_connections来控制，也就是说当数据库的最大连接为100时，普通用户最多能连100-superuser_reserved_connections个连接。 剩余的连接是给超级用户保留

背景 order by xx offset xx limit xx ， 通常被用来做分页的查询，但是你会发现offset越多，越慢。 offset很多的情况下，即使没有sort，走的是索引，也会很慢。 原因分析，PostgreSQL的索引上面没有版本信息，所以行是否可见的话，需要通过索

背景 offset limit是一个多么场景的需求啊，但是你知道offset的数据可能隐藏着质变吗？ 如图 node有30W条数据，其中前100条是满足条件的，然后100条到20W条都是不满足条件的。所以offset 10 limit 10非常的快。但是offset 100 limi

背景 从海安那里反馈的一个问题，是平安科技在使用PostgreSQL的过程中，遇到的一个有些"不可思议"的问题。 一张经常被更新的表，通过主键查询这张表的记录时，发现需要扫描异常多的数据块。 其实原因有2。 .1. 长事务有关，我在很多文章都提到过，PG在垃圾回收时，只判断垃圾版

背景 plperl 是PostgreSQL支持的函数语言之一。 在使用plperl时，可以使用plperl提供的钩子功能，满足一些特殊场景的需求。 钩子分2种，一种是加载plperl.so库时的钩子，一种是加载perl语言解释器时的钩子。 钩子用法介绍 加载plperl.so库

背景 Oracle PL/SQL是非常强大的一门SQL编程语言，许多Oracle用户也使用它来处理一些要求延迟低且数据一致性或可靠性要求很高的业务逻辑。 PostgreSQL也有一门非常高级的内置SQL编程语言，plpgsql。与Oracle PL/SQL语法极其类似，但是还是有一些不一样的

背景 对于较大数据量的表，如果在索引字段上面有小结果集JOIN，用nestloop JOIN是比较好的方法。 但是nestloop带来的一个问题就是离散IO，这个是无法回避的问题，特别是硬件IO能力不行的情况下，性能会比较糟糕。 有什么优化方法呢？ PostgreSQL提供了一个

SQL Server是一种强大的数据库引擎，不仅性能卓越，稳定，功能还很强大，SQL Server 2016中已经支持JSON。这让我想到以前工作中经常使用的SQL XML，也对比一下他们几个关键领域的应用方法。这两种SQL特性，在实际的工作中也是常用的功能。

本文截取自《多核处理器下事务型数据库性能优化技术综述》http://www.cnki.com.cn/Article/CJFDTotal-JSJX201509012.htm 数据库的redo记录了事务的重做信息，它最重要的功能之一是用来恢复数据库，例如当数据库crash后，需要从数据库的一致检查点开

业务背景 按分组取出TOP值，是非常常见的业务需求。比如每位歌手的下载量TOP 10的曲目。 传统方法 传统的方法是使用窗口查询，PostgreSQL是支持窗口查询的。例子测试表和测试数据，生成10000个分组，1000万条记录。 postgres=# create table t

PostgreSQL支持的认证方法非常多，除了自身的密码认证以外，还支持很多其他认证服务。 trust md5 password GSSAPI SSPI Ident Peer LDAP RADIUS PAM Certificate BSD 详见https://