db匠
db匠_个人页
db匠
文章
492
问答
0
视频
0
个人介绍
rds内核团队秘密研发的全自动卖萌机. 追加特效: 发数据库内核月报. 月报传送: http://mysql.taobao.org/monthly/
擅长的技术
-
发表了文章 2018-10-22
PgSQL · 应用案例 · 相似人群圈选，人群扩选，向量相似 使用实践
背景 PostgreSQL 相似插件非常多，插件的功能以及用法如下： 《PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)》 相似人群分析在精准营销，推荐系统中的需求很多。
-
发表了文章 2018-10-22
MySQL · RocksDB · TransactionDB 介绍
1. 概述 得益于LSM-Tree结构，RocksDB所有的写入并非是update in-place，所以他支持起来事务的难度也相对较小，主要原理就是利用WriteBatch将事务所有写操作在内存缓存打包，然后在commit时一次性将WriteBatch写入，保证了原子，另外通过Sequence和Key锁来解决冲突实现隔离。
-
发表了文章 2018-10-22
MySQL · RocksDB · Level Compact 分析
综述 在RocksDB中，将MemTable刷新到磁盘之后,将会有很多sstable,而这些sstable则是可能包含了相同的key的不同时间的值，这样子就会导致两个问题: 浪费磁盘空间 读取内容将会非常慢.
-
发表了文章 2018-10-22
Database · 理论基础 · 关于一致性协议和分布式锁
关于一致性协议, 分布式锁以及如何使用分布式锁 最近看antirez 和 Martin 关于redlock 的分布式锁是否安全的问题的争吵, 非常有意思 http://martin.kleppmann.
-
发表了文章 2018-10-22
Database · 理论基础 · 数据库事务隔离发展历史
事务隔离是数据库系统设计中根本的组成部分，本文主要从标准层面来讨论隔离级别的发展历史，首先明确隔离级别划分的目标；之后概述其否定之否定的发展历程；进而引出 Adya给出的比较合理的隔离级别定义，最终总结隔离标准一路走来的思路。
-
发表了文章 2018-10-22
Redis · lazyfree · 大key删除的福音
背景 redis重度使用患者应该都遇到过使用 DEL 命令删除体积较大的键， 又或者在使用 FLUSHDB 和 FLUSHALL 删除包含大量键的数据库时，造成redis阻塞的情况；另外redis在清理过期数据和淘汰内存超限的数据时，如果碰巧撞到了大体积的键也会造成服务器阻塞。
-
发表了文章 2018-10-22
MongoDB · 引擎特性 · 复制集原理
复制集简介 Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，提供数据的高可用。
-
发表了文章 2018-10-22
MSSQL · 最佳实践 · 使用混合密钥实现列加密
摘要 在SQL Server安全系列专题的上两期月报分享中，我们分别分享了：如何使用对称密钥实现SQL Server列加密技术和使用非对称密钥加密方式实现SQL Server列加密。本期月报我们分享使用混合密钥加密方式实现SQL Server列加密技术，最大限度减少性能损失，最大程度保护用户数据安全。
-
发表了文章 2018-10-22
MySQL · 引擎特性 · Cost Model,直方图及优化器开销优化
MySQL当前已经发布到MySQL8.0版本，在新的版本中，可以看到MySQL之前被人诟病的优化器部分做了很多的改动，由于笔者之前的工作环境是5.6，最近切换到最新的8.0版本，本文涵盖了一些本人感兴趣的和优化器相关的部分，主要包括MySQL5.7的cost model以及MySQL8.0的直方图功能。
-
发表了文章 2018-10-22
POLARDB · 最佳实践 · POLARDB不得不知道的秘密
前言 POLARDB作为阿里云下一代关系型云数据库，自去年9月份公测以来，收到了不少客户的重点关注，今年5月份商业化后，许多大客户开始陆续迁移业务到POLARDB上，但是由于POLARDB的很多默认行为与RDS MySQL兼容版不一样，导致很多用户有诸多使用上的困惑，本来总结了几点，给大家答疑解惑。
-
发表了文章 2018-09-22
PgSQL · 应用案例 · PostgreSQL 图像搜索实践
背景 imgsmlr是PostgreSQL的一款支持以图搜图的插件， 支持 1、几种图像特征值数据类型， 2、图像特征值相似算子， 3、图像特征值相似排序索引支持， 4、图像相似排序的索引（通过扩展GiST索引接口实现）支持， 5、png,gif等图像格式特征值提取函数。
-
发表了文章 2018-09-22
MySQL · myrocks · collation 限制
背景 MyRocks中的数据是按索引列以memcmp方式进行排序的。对于一些数字类型，需要进行转化才能直接通过memcmp进行比较， 例如有符号数在计算机中是用补码表示的，那么如果负数和正数直接按字节比较，结果负数会比正数大，实际存储时会将符号会反转存储，读取时再转化回来。
-
发表了文章 2018-09-22
Redis · 引擎特性 · 基于 LFU 的热点 key 发现机制
前言 业务中存在访问热点是在所难免的，redis也会遇到这个问题，然而如何发现热点key一直困扰着许多用户，redis4.0为我们带来了许多新特性，其中便包括基于LFU的热点key发现机制。 Least Frequently Used Least Frequently Used——简称LFU，意为最不经常使用，是redis4.0新增的一类内存逐出策略，关于内存逐出可以参考文章《Redis数据过期和淘汰策略详解》。
-
发表了文章 2018-09-22
MySQL · 案例分析 · RDS MySQL线上实例insert慢常见原因分析
概述 insert慢是经常被问到的问题，笔者尝试在本文中对这个问题做一个分类梳理，列举的线上例子会做简化，希望对读者有所启发。 注意：因为阿里云MySQL线上实例还是以RDS 5.6为主体，本文的分析也是以5.6 innodb 引擎为主，其他版本的rds的实例可能略有差别。
-
发表了文章 2018-09-22
MongoDB · 引擎特性 · MongoDB索引原理
为什么需要索引？ 当你抱怨MongoDB集合查询效率低的时候，可能你就需要考虑使用索引了，为了方便后续介绍，先科普下MongoDB里的索引机制（同样适用于其他的数据库比如mysql）。 mongo-9552:PRIMARY> db.
-
发表了文章 2018-09-22
MSSQL · 最佳实践 · 使用非对称秘钥实现列加密
摘要 上一篇月报，我们分享了SQL Server使用对称秘钥实现列加密的方法。为了解决对称加密安全性低的问题，本期月报我们分享使用非对称秘钥加密方式实现SQL Server列加密方法，保护用户的关键、核心隐私数据列信息。
-
发表了文章 2018-09-22
MySQL · RocksDB · Memtable flush分析
概述 首先我们知道在RocksDB中，最终数据的持久化都是保存在SST中，而SST则是由Memtable刷新到磁盘生成的，因此这次我们就主要来分析在RocksDB中何时以及如何来Flush内存数据(memtable)到SST.
-
发表了文章 2018-09-22
MySQL · 引擎特性 · IO_CACHE 源码解析
概述 在数据库中 IO 的重要性不言而喻，为了更好的管理 IO 操作，大多数数据库都自己管理页数据和刷脏机制（例如 InnoDB 中的 Buffer pool），而不是交给文件系统甚至是操作系统调度。但是对于顺序写入的日志数据，使用文件系统接口方便的多，文件系统 也是以页的形式管理，呈现给应用层的是一片连续可写的空间，管理的单位称为 Sector 大小是 4KB，所以对于 4KB 对齐的地址读写可以避免跨多个 Sector，对文件系统的性能有很大的提高。
-
发表了文章 2018-09-22
MySQL · 源码分析 · Innodb缓冲池刷脏的多线程实现
简介 为了提高性能，大多数的数据库在操作数据时都不会直接读写磁盘，而是中间经过缓冲池，将要写入磁盘的数据先写入到缓冲池里，然后在某个时刻后台线程把修改的数据刷写到磁盘上。MySQL的InnoDB引擎也使用缓冲池来缓存从磁盘读取或修改的数据页，如果当前数据库需要操作的数据集比缓冲池中的空闲页面大的话，当前缓冲池中的数据页就必须进行脏页淘汰，以便腾出足够的空闲页面供当前的查询使用。
-
发表了文章 2018-09-22
MySQL · 引擎特性 · B+树并发控制机制的前世今生
前言 B+树是1970年Rudolf Bayer教授在《Organization and Maintenance of Large Ordered Indices》一文中提出的[1]。它采用多叉树结构，降低了索引结构的深度，避免传统二叉树结构中绝大部分的随机访问操作，从而有效减少了磁盘磁头的寻道次数，降低了外存访问延迟对性能的影响。
-
发表了文章 2018-07-22
PgSQL · 应用案例 · PostgreSQL flashback(闪回) 功能实现与介绍
背景 闪回的需求往往是救命的需求，因为通常情况下数据库正常运行是不需要闪回的，往往是出现了误操作，被攻击，被注入后，数据库的数据被删除或恶意纂改并且纂改的事务已提交，也就是说纂改已经被持久化了。 这种情况下需要闪回来救命，回到被破坏前的状态。
-
发表了文章 2018-07-22
MySQL · 最佳实践 · 一个TPC-C测试工具sqlbench使用
TPC-C是数据库系统经常使用的一个性能测试标准，目前开源社区里有几个可以使用的TPC-C测试工具，如BenchmarkSQL、DBT2、 tpcc-mysql等。今天这里要介绍的是另一个TPC-C测试工具: sqlbench。
-
发表了文章 2018-07-22
MSSQL · 最佳实践 · 实例级别数据库上云RDS SQL Server
摘要 到目前，我们完成了SQL Server备份还原专题系列八篇月报分享：三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案、如何监控备份还原进度、阿里云RDS SQL自动化迁移上云的一种解决方案以及上个月分享的RDS SDK实现数据库迁移上阿里云，本期我们分享如何将用户线下或者ECS上自建实例级别数据库一键迁移上阿里云RDS SQL Server。
-
发表了文章 2018-07-22
MySQL · myrocks · clustered index特性
Cluster index介绍 最近在RDS MyRocks中，我们引入了一个重要功能，二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。
-
发表了文章 2018-07-22
PgSQL · 新特征 · PG11并行Hash Join介绍
关键字 Parallelized, Parallel-aware hash joins 摘要 本文将介绍一下PostgreSQL 11 beta 1 新增的全并行Hash join特征。 将给读者介绍一下postgreSQL并行的设计与实现，并分析一下PostgreSQL的全并行hash join的设计与实现细节。
-
发表了文章 2018-07-22
MySQL · 源码分析 · binlog crash recovery
前言 本文主要介绍binlog crash recovery 的过程 假设用户使用 InnoDB 引擎，sync_binlog=1 使用 MySQL 5.7.20 版本进行分析 crash recovery 过程中，binlog 需要保证： 所有已提交事务的binlog已存在 所有未提交...
-
发表了文章 2018-07-22
MySQL · RocksDB · 写入逻辑的实现
简介 在RocksDB中，每次写入它都会先写WAL,然后再写入MemTable,这次我们就来分析这两个逻辑具体是如何实现的. 首先需要明确的是在RocksDB中，WAL的写入是单线程顺序串行写入的，而MemTable则是可以并发多线程写入的。
-
发表了文章 2018-07-22
MongoDB · 引擎特性 · 事务实现解析
MongoDB 4.0 引入的事务功能，支持多文档ACID特性，例如使用 mongo shell 进行事务操作 > s = db.getMongo().startSession() session { "id" : UUID("3bf55e90-5e88-44aa-a59e-a30f777f1d89") } > s.
-
发表了文章 2018-07-22
MySQL · 源码分析 · 8.0 原子DDL的实现过程续
之前的一篇月报MySQL · 源码分析 · 原子DDL的实现过程对MySQL8.0的原子DDL的背景以及使用的一些关键数据结构进行了阐述，同时也以CREATE TABLE为例介绍了Server层和Storage层统一系统表后如何创建一张新表进行了介绍。
-
发表了文章 2018-07-22
MySQL · 引擎特性 · WAL那些事儿
前言 日志先行的技术广泛应用于现代数据库中，其保证了数据库在数据不丢的情况下，进一步提高了数据库的性能。本文主要分析了WAL模块在MySQL各个版本中的演进以及在阿里云新一代数据库POLARDB中的改进。
-
发表了文章 2018-05-22
PgSQL · 应用案例 · 阿里云 RDS PostgreSQL 高并发特性 vs 社区版本
背景 进程模型数据库，需要为每个会话指派独立的进程与之服务，在连接数非常多，且大都是活跃连接时，进程调度浪费或引入的开销甚至远远大于实际任务需要的开销（例如上下文切换，MEMCPY等），性能下降会较为严重。
-
发表了文章 2018-05-22
MySQL · 源码分析 · change master to
重要数据结构 Rpl_info 的基类，保存了一些错误信息，如 IO/SQL thread last error class Slave_reporting_capability { // 获取last error Error const& last_error() const ...
-
发表了文章 2018-05-22
MySQL · RocksDB · MANIFEST文件介绍
概述 在RocksDB中MANIFEST保存了存储引擎的内部的一些状态元数据，简单来说当系统异常重启，或者程序异常被退出之后，RocksDB需要有一种机制能够恢复到一个一致性的状态， 而这个一致性的状态就是靠MANIFEST来保证的.
-
发表了文章 2018-05-22
MongoDB · 引擎特性 · journal 与 oplog，究竟谁先写入？
MongoDB journal 与 oplog，谁先写入？最近经常被人问到，本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。
-
发表了文章 2018-05-22
MSSQL · 最佳实践 · 阿里云RDS SQL自动化迁移上云的一种解决方案
摘要 至今为止我们完成了SQL Server备份还原专题系列六篇月报分享：三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案以及如何监控备份还原进度，本期我们分享阿里云是如何基于SQL Server备份还原理论来设计RDS SQL自动化迁移上云方案的。
-
发表了文章 2018-05-22
PgSQL · 特性分析 · 神奇的pg_rewind
背景 在常见的PostgreSQL双节点高可用构架中，如果主库挂了且主备无延迟，高可用系统会提升老备库为新主库对外服务。而对于老主库，则可以有很多处理策略，例如： 删掉，重搭新备库。 降级为备库，继续服务。
-
发表了文章 2018-05-22
MySQL · 引擎分析 · InnoDB行锁分析
前言 理解InnoDB行锁，分析一条SQL语句会加什么样的行锁，会锁住哪些数据范围对业务SQL设计和分析线上死锁问题都会有很大帮助。对于InnoDB的行锁，已经有多篇月报进行了介绍，这里笔者借鉴前面月报的内容，综合自己的理解，对源码的基础实现做一个介绍（会包含部分表锁介绍），然后结合具体SQL语句分析加锁类型和加锁范围。
-
发表了文章 2018-05-22
MySQL · 特性分析 · MySQL 8.0 资源组 (Resource Groups)
MySQL 8.0已经正式发布。这个版本包含很多有意思的特性，例如，更快、性能更好的Schema和Information Schema、原子DDL、UNDO空间回收等，在很多的网站，博客等上面都有大量的推广介绍。
-
发表了文章 2018-05-22
MySQL · 社区动态 · Online DDL 工具 gh-ost 支持阿里云 RDS
背景 Online DDL 一直都是 DBA 运维时比较头疼的事，一般都会选择在业务低峰期谨慎的操作，比较常用的几个工具比如 percona pt-online-schema-change , Facebook OSC, 本质上它们都是基于触发器的，简单来讲就是通过数据库的触发器把作用在源表的操作在一个事务内同步到修改后的表中，这在业务高峰期时会极大的加重主库的负载。
-
发表了文章 2018-05-22
MySQL · Community · Congratulations on MySQL 8.0 GA
It’s great to see MySQL 8.0 has been GA. As a cloud provider in the world, Alibaba Cloud always keeps the pace with Oracle MySQL.
-
发表了文章 2018-03-22
PgSQL · 应用案例 · 毫秒级文本相似搜索实践一
背景 在现实生活中，很多地方会用到相似搜索，例如 1、打车，要去某个地方，我们输入的目的地可能和数据库里面存的并不完全一致。所以只能通过相似搜索来实现。 2、搜索问题，同样的道理，我们搜的问题可能和存的问题不完全一致。
-
发表了文章 2018-03-22
MariaDB · 源码分析 · thread pool
1. thread pool 简介 MariaDB 共有三种线程调度方式 one-thread-per-connection 每个连接一个线程 no-threads 所有连接共用一个线程 pool-of-threads 线程池 no-threads 只适用于简单的系统，并发数稍高性能就会严重下降 one-thread-per-connection 在多数情况下性能优良，是个合适的选择，生产系统也常用此配置。
-
发表了文章 2018-03-22
PgSQL · 特性分析 · 事务ID回卷问题
背景 在之前的月报 PgSQL · 特性分析 · MVCC机制浅析中，我们了解到了: 事务ID（XID）使用32位无符号数来表示，顺序产生，依次递增 每个元组会来用（t_xmin, t_xmax）来标示自己的可用性 t_xmin 存储的是产生这个元组的事务ID，可能是insert或者update语句 t_xmax 存储的是删除或者锁定这个元组的XID 每个事务只能看见t_xmin比自己XID 小且没有被删除的元组 其中需要注意的是，XID 是用32位无符号数来表示的，也就是说如果不引入特殊的处理，当PostgreSQL的XID 到达40亿，会造成溢出，从而新的XID 为0。
-
发表了文章 2018-03-22
MySQL · myrocks · 事务锁分析
概述 MyRocks中RocksDB作为基于快照的事务引擎，其在事务支持上有别于InnoDB，有其自身的特点。在早期的月报[myrocks之事务处理] 中，我们对锁的实现有过简单的分析，本文会以一些例子来介绍MyRocks是如果来加锁解锁的。
-
发表了文章 2018-03-22
MySQL · 特性分析 · innodb_buffer_pool_size在线修改
InnoDB Buffer Pool缓存了表数据和二级索引在内存中，提高数据库效率，因此设置innodb_buffer_pool_size到合理数值对实例性能影响很大。当size设置偏小，会导致数据库大量直接磁盘的访问，而设置过大会导致实例占用内存太多，容易发生OOM。
-
发表了文章 2018-03-22
PgSQL · 内核优化 · Hybrid DB for PG 赋能向量化执行和查询子树封装
背景 Hybrid DB for postgresql简介: 随着大数据时代的不断演进， 用户对于数据的分析能力的需要提出了越来越高的要求。 Hybrid DB for postgres（本文后续将会使用HDBP来代表）是一款基于Greenplum开源项目的分析型数据库。
-
发表了文章 2018-03-22
MSSQL · 最佳实践 · 利用文件组实现冷热数据隔离备份方案
摘要 在SQL Server备份专题分享中，前四期我们分享了：三种常见的数据库备份、备份策略的制定、如何查找备份链以及数据库的三种恢复模式与备份之间的关系。本次月报我们分享SQL Server如何利用文件组技术来实现数据库冷热数据隔离备份的方案。
-
发表了文章 2018-03-22
MongoDB · Feature · In-place update in MongoDB
There is a great new feature in the release note of MongoDB 3.5.12. Faster In-place Updates in WiredTiger This work brings improvements to in-p...
-
发表了文章 2018-03-22
MySQL · 源码分析 · 原子DDL的实现过程
众所周知，MySQL8.0之前的版本DDL是非原子的。也就是说对于复合的DDL，比如DROP TABLE t1, t2;执行过程中如果遇到server crash，有可能出现表t1被DROP掉了，但是t2没有被DROP掉的情况。
-
发表了文章 2018-03-22
MySQL · 源码分析 · InnoDB的read view，回滚段和purge过程简介
笔者最近开始学习InnoDB的内部机制，参照之前的几篇文章整理出InnoDB多版本部分相关的一些实现原理。 InnoDB undo log 漫游 性能优化·5.7 Innodb事务系统 InnoDB 事务系统 [MySQL 5.6] Innodb 新特性之 multi purge thread innodb purge操作 对于undo日志，第1篇文章写得非常清楚，图文并茂。
暂无更多信息
-
发表了文章
2018-10-22
PgSQL · 应用案例 · 相似人群圈选，人群扩选，向量相似 使用实践
-
发表了文章
2018-10-22
MySQL · RocksDB · TransactionDB 介绍
-
发表了文章
2018-10-22
MySQL · RocksDB · Level Compact 分析
-
发表了文章
2018-10-22
Database · 理论基础 · 关于一致性协议和分布式锁
-
发表了文章
2018-10-22
Database · 理论基础 · 数据库事务隔离发展历史
-
发表了文章
2018-10-22
Redis · lazyfree · 大key删除的福音
-
发表了文章
2018-10-22
MongoDB · 引擎特性 · 复制集原理
-
发表了文章
2018-10-22
MSSQL · 最佳实践 · 使用混合密钥实现列加密
-
发表了文章
2018-10-22
MySQL · 引擎特性 · Cost Model,直方图及优化器开销优化
-
发表了文章
2018-10-22
POLARDB · 最佳实践 · POLARDB不得不知道的秘密
-
发表了文章
2018-09-22
PgSQL · 应用案例 · PostgreSQL 图像搜索实践
-
发表了文章
2018-09-22
MySQL · myrocks · collation 限制
-
发表了文章
2018-09-22
Redis · 引擎特性 · 基于 LFU 的热点 key 发现机制
-
发表了文章
2018-09-22
MySQL · 案例分析 · RDS MySQL线上实例insert慢常见原因分析
-
发表了文章
2018-09-22
MongoDB · 引擎特性 · MongoDB索引原理
-
发表了文章
2018-09-22
MSSQL · 最佳实践 · 使用非对称秘钥实现列加密
-
发表了文章
2018-09-22
MySQL · RocksDB · Memtable flush分析
-
发表了文章
2018-09-22
MySQL · 引擎特性 · IO_CACHE 源码解析
-
发表了文章
2018-09-22
MySQL · 源码分析 · Innodb缓冲池刷脏的多线程实现
-
发表了文章
2018-09-22
MySQL · 引擎特性 · B+树并发控制机制的前世今生
滑动查看更多
暂无更多信息
暂无更多信息