关系型数据库

利用 ApsaraDB For SQL Server各版本高效而低廉地实现关键业务需求 1. 什么是SQL Server多版本 微软的SQL Server除了不断迭代的版本升级外，还有从功能差异上分为几个不同的版本。

redis的aof持久化本质上是一个redo log，把所有执行过的写命令追加到aof文件中。那么随着redis的运行，aof文件会不断膨胀，当触发收缩条件时就要做aofrewrite。 redis是通过fork子进程来做aofrewrite，同时为了保证aof的连续性，父进程把aofrewrite期间的写命令缓存起来，等收割完子进程之后再追加到新的aof文件。

背景 数据也有生辰八字，你信吗？列与列之间，行与行之间，元素与元素之间如何相生相克？查询慢？不要信什么这都是上天注定的，如何给数据改运？看完本文，你也可以做到。 一份天赋，九份努力。缘分天注定。命由天定。又有说我命由我不由天的。看样子中国古人对先天注定的东西研究还挺透彻，看的还挺开，但是也有通过后天努力，或者后天改运等等手段来弥补先天不足的。 实际上在准备写本文时，我发现数据库的数据编

ORACLE 中的SHUTDOWN MySQL SHUTDOWN LEVEL 暂时只有一种，源码中留了 LEVEL 的坑还没填 在此借用 Oracle 的 SHUTDOWN LEVEL 分析 Oracle SHUTDOWN LEVEL 共有四种：ABORT、IMMEDIATE、NORMAL、TRANSACTIONAL ABORT 立即结束所有SQL 回滚未提交事务 断开所有用户连

背景 在前两篇月报分享中，6月份月报我们分享了SQL Server实现审计日志功能的方法探索，最终从可靠性、对象级别、可维护性、开销和对数据库系统影响五个方面得出最佳选项Extend Event；7月份月报我们量化分析了使用Extend Event实现审计日志功能对SQL Server本身的性能和吞吐量的影响，结论是对系统性能和吞吐量影响均在0.01%左右；8月份的月报分享是SQL Server审

概要 SQL在PostgreSQL中的处理，是类似于流水线方式的处理，先后由： 词法、语法解析，生成解析树后，将其交给语义解析 语义解析，生成查询树，将其交给Planner Planner根据查询树，生成执行计划，交给执行器 执行器执行完成后返回结果 数据库优化器在生成执行计划的时候，优化器会考虑是否需要使用索引，而使用了索引之后，则会考虑如何利用索引已经排过序的特点，来优化相

前言 内存资源由操作系统管理，分配与回收操作可能会执行系统调用（以 malloc 算法为例，较大的内存空间分配接口是 mmap， 而较小的空间 free 之后并不归还给操作系统 ），频繁的系统调用必然会降低系统性能，但是可以最大限度的把使用完毕的内存让给其它进程使用，相反长时间占有内存资源可以减少系统调用次数，但是内存资源不足会导致操作系统频繁换页，降低服务器的整体性能。 数据库是使用内存的“大

client发起一个连接请求, 到拿到server返回的ok包之间, 走三次握手, 交换了[不可告人]的验证信息, 这期间mysql如何完成校验工作? 过程(三次握手) 信息是如何加密的 client: hash_stage1 = sha1(password) hash_stage2 = sha1(hash_stage1) reply = sha1(scramble, hash_sta

什么是FTWL FTWRL是FLUSH TABLES WITH READ LOCK的简称(FTWRL)，该命令主要用于保证备份一致性备份。为了达到这个目的，它需要关闭所有表对象，因此这个命令的杀伤性很大，执行命令时容易导致库hang住。如果它在主库执行，则业务无法正常访问；如果在备库，则会导致SQL线程卡住，主备延迟。 FTWRL通过持有以下两把全局的MDL(MetaDataLock)锁： 全

replication 概述 目前MySQL支持的replication方式多种多样 1. 普通的master-slave 异步replication 2. 半同步的semi-sync replication 3. 支持多通道的group replication和double binlog 如果按连接协议来区分，又可以分为 非GTID模式，通过binlog文件名和文件的偏移来决定rep

摘要 本文通过对于阿里云分析型数据库HybridDB for postgresql 数据库的列存扫描的优化特征的解析，让大家了解列存元数据扫描是如何达到提升查询扫描的速度的效果。从而使的分析型查询执行时间进一步缩短。最终能够更好的为阿里云的用户提供更高性价比的服务。 关键字 Meta data scan，HybridDB for postgresql， GreenPlum，column stor

背景 为了创建高可用数据库系统，传统的实现方式是创建一个或多个备用的数据库实例，原有的数据库实例通常称为主库master，其它备用的数据库实例称为备库或从库slave。当master故障无法正常工作后，slave就会接替其工作，保证整个数据库系统不会对外中断服务。master与slaver的切换不管是主动的还是被动的都需要外部干预才能进行，这与数据库内核本身是按照单机来设计的理念悉悉相关，并且数

标签 PostgreSQL , metascan , 块级过滤 , 块级统计信息 , BATCH级统计信息 , brin , 区间索引 , 块级索引 , batch级索引 , 数据编排 , 存储计算分离 , 混合编排 , 分段编排 背景 一份天赋，九份努力。

标签 PostgreSQL , UDF , 动态格式 , format , JOIN , OSS外部表 背景 有一些业务需要将数据归类动态的输出，比如一些公共日志服务，所有用户的日志都被统一的按格式记录到一起，但是每个最终用户关心的字段都不一样，甚至每个用户对数据转换的需求都不一样。

标签 PostgreSQL , PostGIS , 多边形 , 面 , 点 , 面点判断 , 菜鸟 背景 菜鸟末端轨迹项目中涉及的一个关键需求，面面判断。 在数据库中存储了一些多边形记录，约几百万到千万条记录，例如一个小区，在地图上是一个多边形。

标签 PostgreSQL , PostGIS , 地理位置 , KNN , 近邻检索 , 网格检索 , polygon中心点 , 半径搜索 背景 伟大的马老师说： “纯电商时代很快会结束，未来的十年、二十年，没有电子商务这一说，只有新零售这一说，也就是说线上线下和物流必须结合在一起，才能诞生真正的新零售” 线上是指云平台，线下是指销售门店或生产商，新物流消灭库存，减少囤货量。

之前的一篇内核月报InnoDB IO子系统 中介绍了InnoDB IO子系统中包含的同步IO以及异步IO。本篇文章将从源码层面剖析一下InnoDB IO子系统中，数据页的同步IO以及异步IO请求的具体实现过程。 在MySQL5.6中，InnoDB的异步IO主要是用来处理预读以及对数据文件的写请求的。而对于正常的页面数据读取则是通过同步IO进行的。到底二者在代码层面上的实现过程有什么样的区别？ 接

前言 在数据库运维当中，一个DBA比较常遇到又比较紧急的问题，就是突发的CPU满（CPU利用率达到100%），导致业务停滞。DBA不一定非常熟悉业务实现逻辑，也不能掌控来自应用的变更或负载变化情况。 所以，遇到CPU满，往往只能从后端数据库开始排查，追溯到具体SQL，最终定位到业务层。这里我们总结下这个问题具体的处理方法。 查看连接数变化 CPU利用率到达100%，首先怀疑，是不是业务高峰活

概述 数据压缩是一个把输入数据集按照一定的算法变换成更小的数据集的过程，解压是压缩的逆过程。如果算法对数据本身的语义了解得越多，则越可能利用语义信息进行针对性的处理，获得更好的压缩效果。数据库系统中用得比较多的压缩算法可以分为两大类：基于块的压缩、基于值的压缩。前者更为常见一些，在 OLTP 以及 OLAP 系统中都会用到，例如 InnoDB、TokuDB、HybridDB 中的块压缩；后者更多

写入流程 myrocks的写入流程可以简单的分为以下几步来完成 将解析后的记录(kTypeValue/kTypeDeletion)写入到WriteBatch中 将WAL日志写入log文件 将WriteBatch中的内容写到memtable中，事务完成 其中第2，3步在提交时完成 WriteBatch与Myrocks事务处理密切相关，事务中的记录提交前都以字符串的形式存储在W

背景 在上一篇月报分享中，我们介绍了SQL Server实现审计日志功能的四种方法，最终的结论是使用Extend Event(中文叫扩展事件)实现审计日志方法是最优选择，详情参见MSSQL · 实现分析 · SQL Server实现审计日志的方案探索。那么，使用Extend Event实现审计日志的方案会面对如下疑问： Extend Event是否满足可靠性要求

HybridDB for MySQL（原名petadata）是面向在线事务（OLTP）和在线分析（OLAP）混合场景的关系型数据库。HybridDB采用一份数据存储来进行OLTP和OLAP处理，解决了以往需要把一份数据多次复制来分别进行业务交易和数据分析的问题，极大地降低了数据存储的成本，缩短了数据分析的延迟，使得实时分析决策称为可能。 HybridDB for MySQL兼容MySQL的语法及

前言 MySQL 8.0 引入了 Invisible Indexes 这一个特性，对于 DBA 同学来说是一大福音，索引生命周期管理除了有和无外，又多了一种形态–可见和不可见，进而对业务SQL的调优又多了一种手段。 关于 Invisible Indexes，不管是官方还是第三方，都有非常多的介绍文档，这里推荐大家可以先看下： 官方文档: Invisible Indexes 官方 ser

前言 数据库系统与文件系统最大的区别在于数据库能保证操作的原子性，一个操作要么不做要么都做，即使在数据库宕机的情况下，也不会出现操作一半的情况，这个就需要数据库的日志和一套完善的崩溃恢复机制来保证。本文仔细剖析了InnoDB的崩溃恢复流程，代码基于5.6分支。 基础知识 lsn: 可以理解为数据库从创建以来产生的redo日志量，这个值越大，说明数据库的更新越多，也可以理解为更新的时刻。此外，每