关系型数据库

背景 MySQL 在标准 SQL 外，会扩展一些好用的语法，本文关注的 REPLACE 和 INSERT IGNORE 就属于这类。这 2 个语法都是对 INSERT 的扩展，语义是向表中插入数据，不同之处在于遇到 PK 或者 UK 冲突时的处理： INSERT：报 duplicate key 的错误，数据不插入； REPLACE：删除掉老冲突记录，插入新的记录； INSERT IG

背景 SQL Server 作为一种强大的关系型数据库，能够提供所有场景的应用。在绝大多数云计算公司中，都提供了SQL Server作为服务的云数据库服务，譬如阿里云。但既然是服务，那么服务就需要可管理，可控制，因此，在云计算初期，都对云数据库服务进行了严格的权限控制，好处就是可控可管理，但给用户会带来一些限制，某些限制实际上是可以再细粒度管控。因此，今天我们就要介绍一下阿里云数据库SQL Ser

Greenplum是分布式数据库，这为备份带来了一些困难。其本身提供了一个工具是gpcrondump，对其二进制备份工具gp_dump做了一些封装，而gp_dump则是对pg_dump做了封装，在每个节点上执行pg_dump完成数据的备份。在其每个节点的行为上，与PG类似，但其分布式的架构，则有值得了解的地方。 备份方法 GP备份的工具gpcrondump是一个Python脚本，是对gp_du

RocksDB是facebook基于LevelDB实现的，目前为facebook内部大量业务提供服务。经过facebook大量工作，将RocksDB作为MySQL的一个存储引擎移植到MySQL，称之为MyRocks。 经过两年的发展，MyRocks已经比较成熟（RC阶段），现已进入了facebook MySQL的主分支了。MyRocks是开源的,参见git 。 下面对MyRocks做一个简单介绍，

自 PostgreSQL 9.4 ，终于支持了逻辑流复制。本篇文章为大家带来这部分的技术细节的分析。 1. 背景 PostgreSQL 9.4 对逻辑流复制的支持具有相当的意义。我们可以用该技术完成很多企业级的需求。 PostgreSQL 的大版本升级，由于可以使用流复制做增量数据同步，所以停机服务时间会非常短。 PostgreSQL 自定义逻辑拆库。由于是逻辑数据，所以很容易自定义分发

继上三期月报：MySQL 5.7新特性之一介绍了一些新特性及兼容性问题MySQL 5.7新特性之二介绍了临时表的优化和实现MySQL 5.7新特性之三介绍了undo表空间的truncate功能 这期我们一起来学习下MySQL 5.7的并行复制。 1. 背景 MySQL的master<->slave的部署结构，使用binlog日志保持数据的同步，全局有序的binlog在备库按照提交顺

问题背景 一个用户自建MySQL，出现备库复制中断的问题，报错为slave sql thread 错误，The total number of locks exceeds the lock table size。 报错代码 这个报错在代码中的抛错逻辑为： if UT_LIST_GET_LEN(buf_pool->free) + UT_LIST_GET_LEN(buf_pool->L

Query Cache背景 Query Cache在其他数据库里面也称为结果集缓存。顾名思义，它的目的是将SELECT语句与其返回结果缓存到Query Cache中，如果重复执行相同的SELECT语句的话，我们可以跳过MySQL的解析、优化、执行阶段，将SELECT的查询结果直接返回到客户端，加速SELECT语句的执行。 Query Cache中的主要数据结构 Query_cache

背景 MySQL引入了Materialization（物化）这一关键特性用于子查询（比如在IN/NOT IN子查询以及 FROM 子查询）优化。 具体实现方式是：在SQL执行过程中，第一次需要子查询结果时执行子查询并将子查询的结果保存为临时表 ，后续对子查询结果集的访问将直接通过临时表获得。 与此同时，优化器还具有延迟物化子查询的能力，先通过其它条件判断子查询是否真的需要执行。物化子查询优化SQ

审计日志是RDS安全策略中非常重要的一环，它采集了数据库中所有的访问请求，包括常见的insert，update，delete，select，alter，drop，create语句， 还有一些比如set，commit，rollback命令语句。有了这些日志后可以帮助我们进行问题回溯，分析问题。下面这则案例讲述如何使用审计日志来分析只读实例延迟问题，如果没有审计日志我们很难想象该问题该如何解决。

背景 SQL Server是一种强大的数据库引擎，不仅性能卓越，稳定，功能还很强大，SQL Server 2016中已经支持JSON。这让我想到以前工作中经常使用的SQL XML，也对比一下他们几个关键领域的应用方法。这两种SQL特性，在实际的工作中也是常用的功能，特别是JSON在最近发展非常火爆，SQL Server也不落后，很快就在SQL Server2016支持。 广义的XML与JSON

MySQL 网络通信浅析 MySQL的网络通信协议主要包含以下几个层次，从最上层的MySQL数据包协议层到最底层的socket传输： | THD | Protocol | NET | VIO | SOCKET 本文主要扫一下相关的代码，以下分析基于MySQL5.7。 创建会话 在MySQL5.7中对会话协议层的代码进行了大量的重构以优化性能，并使得代码更加可读。以下这幅图大概展示了几个

业务背景 按分组取出TOP值，是非常常见的业务需求。 比如提取每位歌手的下载量TOP 10的曲目、提取每个城市纳税前10的人或企业。 传统方法 传统的方法是使用窗口查询，PostgreSQL是支持窗口查询的。 例子 测试表和测试数据，生成10000个分组，1000万条记录。 postgres=# create table tbl(c1 int, c2 int, c3 int); CREA

代价模型 mysql 5.7代价计算相对之前的版本有较大的改进。例如 代价模型参数可以动态配置，可以适应不同的硬件 区分考虑数据在内存和在磁盘中的代价 代价精度提升为浮点型 jion计算时不仅要考虑condition,还要考虑condition上的filter，具体参见参数condition_fanout_filter 5.7 在代价类型上分为io,cpu和memory, 5.7

继上两期月报，MySQL5.7新特性之一介绍了一些新特性及兼容性问题，MySQL 5.7新特性之二介绍了临时表的优化和实现。 这期我们一起来学习下undo空间管理，重点介绍truncate功能。 1. 背景 InnoDB存储引擎中，undo在完成事务回滚和MVCC之后，就可以purge掉了，但undo在事务执行过程中，进行的空间分配如何回收，就变成了一个问题。 我们亲历用户的小实例，因为一个

标签 PostgreSQL , sql plan outline , 执行计划篡改 , query rewrite , sr_plan , pg plan hint 背景 功能较为强大的数据库，通常都有query rewrite的功能，比如JOIN时提升或下推条件，调整JOIN顺序等。

纵观数据库发展的几十年，从网状数据库、层次数据库到RDBMS数据库，在最近几年的NewSQL的兴起，加上开源的运动，再加上云的特性，可以说是日新月异。云HBase数据库及时上线，一站式解决客户的大数据存储问题。

标签 PostgreSQL , rum , tsvector , array , smlar , 相似度 , 内容去重 , 内容筛选 , 转载 , 盗图 , 侵权 , 内容过滤 背景 同一个热点事件，可能有很多的媒体报道。

标签 PostgreSQL , Greenplum , 合并删除 , 合并更新 , 合并DML 背景 在很多场景中会涉及到数据的合并，比如 1. 某业务系统的总用户有1亿，每天的活跃用户有100万，新增用户10万，每天需要将新增、活跃用户的数据（比如他们的余额变化、等等）合并到数据仓库的用户信息表。

标签 PostgreSQL , 多列索引 , btree , gin , gist , brin , btree_gist , btree_gin , 复合索引 , composite index , 任意字段等效查询 背景 多列的组合查询在实际的应用中也较为常见，比如淘宝购物网站的商品搜索 有发货地、分类、是否包邮、是否货到付款、是否天猫、二手、等等许多选项，这些选项在设计时可能使用多个字段来表示（当然，有些可能会使用BIT合并成单个字段来表述）。

标签 PostgreSQL , 节假日巡检 , 监控 , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复制 , UDR , BDR , 数据库安全 背景 如果你是身处数据库行业的朋友，最近可能被朋友圈的各种关于 "炉石数据被删" 、 "mongoDB遭黑客勒索" 的事件刷屏。

标签 PostgreSQL , haar wavelet , 图像识别 , 人工智能 , 动态图像识别 , 最强大脑 背景 水哥王昱珩不用多介绍，在最强大脑第六期晋级赛第五场，在“微观辨水”环节中，520杯同质同量同水源的水被他一眼辨认出，Dr.魏给出9分难度分，最终王昱珩以117分晋级。

我家有只小鸡鸡，它的名字叫吉吉。吉吉有一个铁杆鸡友大象哥哥（PostgreSQL）。 吉吉给大伙拜年啦，祝大家鸡年吉祥，新年新气息，与好鸡友大象哥哥愉快的玩耍，鸡情四射。 故事从吉吉和好鸡友大象哥哥偶遇的那天开始。