关系型数据库

背景 在写压力负载比较重的MySQL实例上，InnoDB可能积累了较长的没有被purge掉的transaction history，导致实例性能的衰减，或者空闲空间被耗尽，下面就来看看它是怎么产生的，或者有没有什么方法来减轻，避免这样的问题出现。 InnoDB purge 概要 InnoDB是

综述 在前一篇我们介绍了InnoDB文件系统的物理结构，本篇我们继续介绍InnoDB文件系统的IO接口和内存管理。 为了管理磁盘文件的读写操作，InnoDB设计了一套文件IO操作接口，提供了同步IO和异步IO两种文件读写方式。针对异步IO，支持两种方式：一种是Native AIO，这需要你在编译

综述 从上层的角度来看，InnoDB层的文件，除了redo日志外，基本上具有相当统一的结构，都是固定block大小，普遍使用的btree结构来管理数据。只是针对不同的block的应用场景会分配不同的页类型。通常默认情况下，每个block的大小为 UNIV_PAGE_SIZE，在不做任何配置时值为1

bloom filter是一个有损过滤器，使用有限的比特位存储一些唯一值集合所产生的bits。通过这些bits可以满足这样的场景需求，给定一个值，判断这个值是否属于这个集合。例如 create table test(c1 int); insert into test select trunc

背景 上一期月报MariaDB on Power8我介绍了下 MariaDB 为 Power 处理器所做的一些优化，但是并没有给出实际测试的效果，这次月报我们借到了一台Power8的机器，有机会亲自试一把 MariaDB 在 Power 上的表现。 环境 一切不交代测试场景的Benchmark

背景 有一个功能，是社区官方版”永远”不考虑引入的(参见PG TODO，查找”Oracle-style”)，即类似Oracle的Plan Hint。社区开发者的理念是，引入Hint功能，会掩盖优化器本身的问题，导致缺陷不被暴露出来。但对于我们的使用者来讲，遇到某些SQL的查询计划不好，性能出了问题

背景 server A,B 为双主结构，对于 server A 当gtid_next设置为AUTOMATIC时，A上执行的事务在binlog刷盘时递增获取事务的gtid，从而保证了在binlog中属于A的gtid是连续递增的。 A的binlog在B应用时，B会通过 Executed_Gtid_S

背景 系统为了加速对象的访问，通常都会增加一层缓存，以缓解下一层IO的瓶颈，OS的page cache和数据库的buffer pool都基于此。 但对象的删除，如果同步清理对象的缓存的话，不仅大大增加了延时，同时可能因为缓存过大导致IO blooding。所以针对缓存的清理，都会采用lazy d

介绍 TokuDB也有类似InnoDB的buffer pool叫做cachetable，存储数据节点（包括叶节点和中间节点）和rollback段，本文中为了表达简单，叶节点，中间节点和rollback段统称数据节点。Cachetable是全局唯一的，它与MySQL实例存在一一对应的关系。TokuD

背景 本文对 5.6 主备场景下，在备库做物理备份遇到死锁的case进行分析，希望对大家有所帮助。 这里用的的物理备份工具是 Percona-XtraBackup(PXB)，有的同学可能不清楚其备份流程，所以这里先简单说下，PXB的备份步骤是这样的： 拷贝 InnoDB redo log，这是

上一篇文章咱们对 ICP 进行了一次全面的分析，本篇文章小编继续为大家分析优化器的另外两个选项: MRR & batched_key_access(BKA) ，分析一下他们的作用、原理、相互关系、源码实现以及使用范围。 什么是 MRR MRR 的全称是 Multi-Range Read Opti

介绍 本文将介绍 MySQL 5.7 中如何实现非结构化（JSON）数据的存储，在介绍 MySQL 5.7 的非结构化数据存储之前，首先介绍在之前的 MySQL 的版本中，用户如何通过 BLOB 实现 JSON 对象的存储，以及这样处理的缺点是什么，这些缺点也就是 MySQL 5.7 支持 JSO

PostgreSQL 主备同步机制是通过流复制实现，其原理见之前的月报PG主备流复制机制。 Greenplum 是基于PostgreSQL开发的，它的主备也是通过流复制实现，但是Segment节点中的Primary和Mirror之间的数据同步是基于文件级别的同步实现的。为什么Primary和Mir

前言 本文的目的是对 InnoDB 的事务锁模块做个简单的介绍，使读者对这块有初步的认识。本文先介绍行级锁和表级锁的相关概念，再介绍其内部的一些实现；最后以两个有趣的案例结束本文。 本文所有的代码和示例都是基于当前最新的 MySQL5.7.10 版本。 行级锁 InnoDB 支持到行级别

背景 MySQL 企业版由 Oracle 公司维护，当然也是收费的。其产品类别也基本和 Oracle 数据库一致，包括标准版、企业版、集群版等。标准版包括基本的特性，价格也会比企业版便宜很多。今天和小编一起来看下 MySQL Enterprise Edition 提供的一些功能，这些功能的源码当然

前言 上一篇文章 提过，我们在之后的文章中会从 optimizer 的选项出发，系统的介绍 optimizer 的各个变量，包括变量的原理、作用以及源码实现等，然后再进一步的介绍优化器的工作过程（SQL 语句扁平化处理、索引选择、代价计算、多表连接顺序选择以及物理执行等内容），本期我们先看一下众所

背景 最近处理了几起线上实例表膨胀的问题。表膨胀是指表的数据和索引所占文件系统的空间，在有效数据量并未发生大的变化的情况下，不断增大。PG使用过程中需要特别关注这方面，我们来给大家解析一下表膨胀的原因。 表膨胀的直接触发因素是表上的大量更新，如全表的update操作、大量的insert+dele

前言 很久很久以前，内核君发表了一篇HA方案·TokuDB热备的文章，方法很简单： SET TOKUDB_CHECKPOINT_LOCK=ON; 开始拷贝TokuDB的数据文件(不包含日志文件)； FLUSH TABLES WITH READ LOCK; 记录binlog位置，拷贝最新的b

前言 PostgreSQL standby 可以通过两种方法来激活成为主库： trigger file，配置在recovery.conf中。 pg_ctl promote发送SIGUSR1信号给postmaster进程。 同时，PostgreSQL支持快速激活（fast promote）和非

前言 很多时候，RDS用户经常会问如何调优RDS MySQL的参数，为了回答这个问题，写一篇blog来进行解释： 哪一些参数不能修改，那一些参数可以修改； 这些提供修改的参数是不是已经是最佳设置，如何才能利用好这些参数； 哪些参数可以改 细心的用户在购买RDS的时候都会看到，不同规格能够提

背景 在日常的数据处理中，我们经常会有这样的需求：从一个文本中寻找某个字符串（比如某个单词）。 对这个需求，我们可以用类似这样的SQL完成：SELECT * FROM tbl WHERE text LIKE ‘%rds PostgreSQL%’;（找到含有“rds PostgreSQL”的文本）

前言 在前面几期关于 InnoDB Redo 和 Undo 实现的铺垫后，本节我们从上层的角度来阐述 InnoDB 的事务子系统是如何实现的，涉及的内容包括：InnoDB的事务相关模块、如何实现MVCC及ACID、如何进行事务的并发控制、事务系统如何进行管理等相关知识。本文的目的是让读者对事务系统

问题描述 bug 触发条件如下： 优化器先选择了 where 条件中字段的索引，该索引过滤性较好； SQL 中必须有 order by limit 从而引导优化器尝试使用 order by 字段上的索引进行优化，最终因代价问题没有成功。 复现case 表结构 create table t

前言 4月份月报有篇文章《行锁(row-lock)与区间锁(range-lock)》，介绍了 TokuDB 的行锁/区间锁是如何使用的。这篇文章是其姐妹篇，介绍TokuDB行锁的实现，大家可以对照着看。 行锁申请 与 InnoDB 类似，TokuDB 也支持行级锁用来协调多个 txn 对数据库

问题描述 表结构如下所示: show create table test\G Table: test Create Table: CREATE TABLE `test` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT,

本文我们从一个索引选择的问题出发，来研究一下 MySQL 中 range 代价的计算过程，进而分析这种计算过程中存在的问题。 问题现象 第一种情况：situation_unique_key_id mysql> show create table cpa_order\G *********

本文我们从一个索引选择的问题出发，来研究一下 MySQL 中 range 代价的计算过程，进而分析这种计算过程中存在的问题。 问题现象 第一种情况：situation_unique_key_id mysql> show create table cpa_order\G ***********

外键约束异常现象 如下测例中，没有违反引用约束的插入失败。 create database `a-b`; use `a-b`; SET FOREIGN_KEY_CHECKS=0; create table t1(c1 int primary key, c2 int) engine=inno

PG默认每个page的大小为8K，PG数据页写入是以page为单位，但是在断电等情况下，操作系统往往不能保证单个page原子地写入磁盘，这样就极有可能导致部分数据块只写到4K(操作系统是一般以4K为单位)，这些“部分写”的页面包含新旧数据的混合。在崩溃后的恢复期间，xlog 里面存储的记录变化信息.

前言 在MySQL中，DDL是不属于事务范畴的，如果事务和DDL并行执行，操作相关联的表的话，会出现各种意想不到问题，如事务特性被破坏、binlog顺序错乱等，为了解决类似这些问题，MySQL在5.5.3引入了MDL锁(Metadata Locking)，关于其设计思路可以参考这两个worklog