jephon_个人页

基准测试工具

基准测试工具可以用来对数据库或者操作系统调优后的性能进行对比。MySQL数据库本身提供了一些比较优秀的工具，这里介绍另外两款更优秀、更常用的工具：sysbench和mysql-tpcc。 sysbench sysbench是一个模块化的、跨平台的、多线程基准测试工具，主要用于测试各种不同系统参数下的数据库负载情况。

性能调优-硬盘方面,操作系统方面,文件系统方面

硬盘对数据库性能的影响 传统机械硬盘 当前大多数数据库使用的都是传统的机械硬盘。机械硬盘的技术目前已非常成熟，在服务器领域一般使用SAS或SATA接口的硬盘。服务器机械硬盘开始向小型化转型，目前已经有大量2.5寸的SAS机械硬盘。

性能调优-CPU方面,内存方面

CPU调优 首先要清楚数据库应用的分类，一般分为两类：OLTP（Online Transaction Processing，在线事务处理）和OLAP（Online Analytical Processing，在线分析处理），这是两种完全不同的数据库应用。

二进制日志备份与恢复,快照备份,复制

二进制日志备份与恢复 二进制日志非常关键，我们可以通过它来完成point-in-time的恢复工作。MySQL数据库的复制同样需要二进制日志。默认情况下并不启用二进制日志，要使用二进制日志，首先必须启用它，在配置文件中进行如下设置： [mysqld] log-bin 对于InnoDB存储引擎只是简单...

逻辑备份,mysqldump,SELECT…INTO OUTFILE,恢复

逻辑备份 mysqldump mysqldump备份工具最初由Igor Romanenko编写完成，通常用来完成转存（dump）数据库的备份以及不同数据库之间的移植，例如从低版本的MySQL数据库升级到高版本的MySQL数据库，或者从MySQL数据库移植到Oracle和SQL Server等数据库等。

分布式事务,不好的事务习惯

分布式事务 InnoDB存储引擎支持XA事务，通过XA事务可以来支持分布式事务的实现。分布式事务指的是允许多个独立的事务资源（transactional resources）参与一个全局的事务中。事务资源通常是关系型数据库系统，但也可以是其他类型的资源。

事务操作的统计,TPS的计算,隔离级别的读提交

对于事务操作的统计 因为InnoDB存储引擎是支持事务的，因此对于InnoDB存储引擎的应用，在考虑每秒请求数（Question Per Second，QPS）的同时，也许更应该关注每秒事务处理的能力（Transaction Per Second，TPS）。

事务控制语句,begin,rollback,savepoint,隐式提交的SQL语句

事务控制语句 在MySQL命令行的默认设置下，事务都是自动提交的，即执行SQL语句后就会马上执行COMMIT操作。因此开始一个事务，必须使用BEGIN、START TRANSACTION，或者执行SET AUTOCOMMIT=0，以禁用当前会话的自动提交。

事务实现,redo,undo,锁

事务（Transaction）是数据库区别于文件系统的重要特性之一。在文件系统中，如果你正在写文件，但是操作系统突然崩溃了，这个文件就很有可能被破坏。当然，有一些机制可以把文件恢复到某个时间点。不过，如果需要保证两个文件同步，这些文件系统可能就显得无能为力了。

锁的阻塞,死锁,锁升级

阻塞 因为不同锁之间的兼容性关系，所以在有些时刻，一个事务中的锁需要等待另一个事务中的锁释放它所占用的资源。在InnoDB存储引擎的源代码中，用Mutex数据结构来实现锁。在访问资源前需要用mutex_enter函数进行申请，在资源访问或修改完毕后立即执行mutex_exit函数。

锁的算法,隔离级别的问题

锁的算法 InnoDB存储引擎有3中行锁的算法设计，分别是： Record Lock：单个行记录上的锁。 Gap Lock：间隙锁，锁定一个范围，但不包含记录本身。 Next-Key Lock：Gap Lock+Record Lock，锁定一个范围，并且锁定记录本身。

InnoDB的哈希算法

InnoDB存储引擎中自适应哈希索引使用的是散列表（Hash Table）的数据结构。但是散列表不只存在于自适应哈希中，在每个数据库中都存在。设想一个问题，当前我的内存为128G，我怎么得到内存中的某一个被缓存的页呢？内存中查询速度很快，但是也不可能遍历所有内存。

InnoDB的B+树索引

B+树索引其本质就是B+树在数据库中的实现，但是B+索引在数据库中有一个特点就是其高扇出性，因此在数据库中，B+树的高度一般都在2～3层，也就是对于查找某一键值的行记录，最多只需要2到3次IO，这倒不错。

B+树介绍

B+树 B+树和二叉树、平衡二叉树一样，都是经典的数据结构。B+树由B树和索引顺序访问方法（ISAM，是不是很熟悉？对，这也是MyISAM引擎最初参考的数据结构）演化而来，但是在实际使用过程中几乎已经没有使用B树的情况了。

InnoDB索引概述,二分查找法,平衡二叉树

索引是应用程序设计和开发的一个重要方面。如果索引太多，应用的性能可能会受到影响；如果索引太少，对查询性能又会产生影响。要找到一个合适的平衡点，这对应用的性能至关重要。 如果知道数据的使用，从一开始就应该在需要处添加索引。

InnoDB的视图

视图（View）是一个命名的虚表，它由一个查询来定义，可以当做表使用。与持久表（permanent table）不同的是，视图中的数据没有物理表现形式。 视图的作用 视图在数据库中发挥着重要的作用。视图的主要用途之一是被用做一个抽象装置，特别是对于一些应用程序，程序本身不需要关心基表（base table）的结构，只需要按照视图定义来获取数据或者更新数据，因此，视图同时在一定程度上起到一个安全层的作用。

InnoDB的约束机制

数据完整性 关系型数据库系统和文件系统的一个不同点是，关系数据库本身能保证存储数据的完整性，不需要应用程序的控制，而文件系统一般需要在程序端进行控制。几乎所有的关系型数据库都提供了约束（constraint）机制，约束提供了一条强大而简易的途径来保证数据库中的数据完整性，数据完整性有三种形式： 实体完整性　保证表中有一个主键。

InnoDB的Named File Formats

随着InnoDB存储引擎的发展，新的页数据结构有时用来支持新的功能特性。比如前面提到的InnoDB Plugin，提供了新的页数据结构来支持表压缩功能，完全溢出的（Off page）大变长字符类型字段的存储。

InnoDB的数据页结构

页是InnoDB存储引擎管理数据库的最小磁盘单位。页类型为B-tree node的页，存放的即是表中行的实际数据了。 InnoDB数据页由以下七个部分组成，如图所示： File Header（文件头）。

InnoDB的行溢出数据,Char的行结构存储

行溢出数据 InnoDB存储引擎可以将一条记录中的某些数据存储在真正的数据页面之外，即作为行溢出数据。一般认为BLOB、LOB这类的大对象列类型的存储会把数据存放在数据页面之外。但是，这个理解有点偏差，BLOB可以不将数据放在溢出页面，而即使是varchar列数据类型，依然有可能存放为行溢出数据。

InnoDB的行记录格式, Compact, Redundant, Compressed, Dynamic

InnoDB存储引擎和大多数数据库一样（如Oracle和Microsoft SQL Server数据库），记录是以行的形式存储的。这意味着页中保存着表中一行行的数据。到MySQL 5.1时，InnoDB存储引擎提供了Compact和Redundant两种格式来存放行记录数据，Redundant是为兼容之前版本而保留的，如果你阅读过InnoDB的源代码，会发现源代码中是用PHYSICAL RECORD（NEW STYLE）和PHYSICAL RECORD（OLD STYLE）来区分两种格式的。

python py_innodb_page_info.py -v /usr/local/var/mysql/ibdata1

mylib.py #encoding=utf-8 import os import include from include import * TABLESPACE_NAME='D:\\mysql_data\\test\\t.

InnoDB的表类型,逻辑存储结构,物理存储结构

表类型 对比Oracle支持的各种表类型，InnoDB存储引擎表更像是Oracle中的索引组织表（index organized table）。在InnoDB存储引擎表中，每张表都有个主键，如果在创建表时没有显式地定义主键（Primary Key），则InnoDB存储引擎会按如下方式选择或创建主键。

InnoDB存储引擎的表空间文件,重做日志文件

存储引擎文件：因为MySQL表存储引擎的关系，每个存储引擎都会有自己的文件来保存各种数据。这些存储引擎真正存储了数据和索引等数据。 表空间文件 InnoDB存储引擎在存储设计上模仿了Oracle，将存储的数据按表空间进行存放。

MYSQL数据库的套接字文件,pid文件,表结构文件

socket文件：当用Unix域套接字方式进行连接时需要的文件。 pid文件：MySQL实例的进程ID文件。 MySQL表结构文件：用来存放MySQL表结构定义文件。 套接字文件 Unix系统下本地连接MySQL可以采用Unix域套接字方式，这种方式需要一个套接字（socket）文件。

MYSQL数据库的日志文件

日志文件：用来记录MySQL实例对某种条件做出响应时写入的文件。如错误日志文件、二进制日志文件、慢查询日志文件、查询日志文件等。 错误日志 show variables like 'log_error'; system hostname; 可以看到错误文件的路径和文件名，默认情况下错误文件的文件名为服务器的主机名。

MYSQL数据库的参数文件

参数文件：告诉MySQL实例启动时在哪里可以找到数据库文件，并且指定某些初始化参数，这些参数定义了某种内存结构的大小等设置，还会介绍各种参数的类型。 参数文件 当MySQL实例启动时，MySQL会先去读一个配置参数文件，用来寻找数据库的各种文件所在位置以及指定某些初始化参数，这些参数通常定义了某种内存结构有多大等设置。

InnoDB的启动,关闭,恢复

InnoDB存储引擎是MySQL的存储引擎之一，因此InnoDB存储引擎的启动和关闭更准确地是指在MySQL实例的启动过程中对InnoDB表存储引擎的处理过程。 参数innodb_fast_shutdown 在关闭时，参数innodb_fast_shutdown影响着表的存储引擎为InnoDB的行为。

master线程的主循环,后台循环,刷新循环,暂停循环

InnoDB存储引擎的主要工作都是在一个单独的后台线程master thread中完成的。master thread的线程优先级别最高。其内部由几个循环（loop）组成：主循环（loop）、后台循环（background loop）、刷新循环（flush loop）、暂停循环（suspend loop）。

InnoDB的后台线程(IO线程,master线程,锁监控线程,错误监控线程)和内存(缓冲池,重做日志缓冲池,额外内存池)

InnoDB有多个内存块，你可以认为这些内存块组成了一个大的内存池，负责如下工作： 维护所有进程/线程需要访问的多个内部数据结构。 缓存磁盘上的数据，方便快速地读取，并且在对磁盘文件的数据进行修改之前在这里缓存。

MySQL的连接方式

连接MySQL操作是连接进程和MySQL数据库实例进行通信。从开发的角度来说，本质上是进程通信。常用的进程通信方式有管道、命名管道、命名字、TCP/IP套接字、Unix域名套接字。MySQL提供的连接方式从本质上看都是上述提及的进程通信方式。

编写高质量的 Java 代码

代码质量概述 代码质量所涉及的5个方面，编码标准、代码重复、代码覆盖率、依赖项分析、复杂度分析。这5方面很大程序上决定了一份代码的质量高低。 我们分别来看一下这5方面：编码标准：这个想必都很清楚，每个公司几乎都有一份编码规范，类命名、包命名、代码风格之类的东西都属于其中。

TProfiler

下载：访问 TProfiler 的 GitHub 主页，https://github.com/alibaba/TProfiler，点击 Clone or download 按钮的打开下载选项，点击该选项下的 Download ZIP 按钮将 TProfiler-master.zip 下载到本地。

Copy-On-Write容器

Copy-On-Write简称COW，是一种用于程序设计中的优化策略。其基本思路是，从一开始大家都在共享同一个内容，当某个人想要修改这个内容的时候，才会真正把内容Copy出去形成一个新的内容然后再改，这是一种延时懒惰策略。

JAVA 虚拟机钩子

Shutdown Hook Java程序经常也会遇到进程挂掉的情况，一些状态没有正确的保存下来，这时候就需要在JVM关掉的时候执行一些清理现场的代码。JAVA中的ShutdownHook提供了比较好的方案。

Future和Promise

Future用于获取异步操作的结果，而Promise则比较抽象，无法直接猜测出其功能。 Future Future最早来源于JDK的java.util.concurrent.Future，它用于代表异步操作的结果。

EventLoop和EventLoopGroup

Netty框架的主要线程就是I/O线程，线程模型设计的好坏，决定了系统的吞吐量、并发性和安全性等架构质量属性。Netty的线程模型被精心地设计，既提升了框架的并发性能，又能在很大程度避免锁，局部实现了无锁化设计。

Netty参数配置表

ChannelHandler

ChannelHandler功能介绍 ChannelHandler类似于Servlet的Filter过滤器，负责对I/O事件或者I/O操作进行拦截和处理，它可以选择性地拦截和处理自己感兴趣的事件，也可以透传和终止事件的传递。

無間道III 終極無間

　　 凭良心说，它绝对算是诚意之作，而非急功近利或者说抢市。因为导演尤其是编剧都用了心，为了和第一二集融合而在细节处理上做足了文章，麦兆辉也实在够天才。 　　 关于时间问题，本片不是完全杂乱无章，只不过是前后两段时间平行前进，也算是一种特殊的插叙手法吧。

ChannelPipeline

Netty的ChannelPipeline和ChannelHandler机制类似于Servlet和Filter过滤器，这类拦截器实际上是职责链模式的一种变形，主要是为了方便事件的拦截和用户业务逻辑的定制。

单点登录

web系统由单系统发展成多系统组成的应用群，复杂性应该由系统内部承担，而不是用户。无论web系统内部多么复杂，对用户而言，都是一个统一的整体，也就是说，用户访问web系统的整个应用群与访问单个系统一样，登录/注销只要一次就够了。

消息队列一览

谈谈互联网后端基础设施　　http://www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/   service之间的调用方式可以分为同步调用以及异步调用。

Unsafe

Unsafe接口实际上是Channel接口的辅助接口，它不应该被用户代码直接调用。实际的I/O读写操作都是由Unsafe接口负责完成的。 Unsafe继承关系类图 AbstractUnsafe源码分析 1.register方法 register方法主要用于将当前Unsafe对应的Channel注册到EventLoop的多路复用器上，然后调用DefaultChannelPipeline的fireChannelRegistered方法。

Channel

提起Channel，JDK的NIO类库的重要组成部分，就是提供了java.nio.SocketChannel和java.nio.ServerSocketChannel，用于非阻塞的I/O操作。 类似于NIO的Channel，Netty提供了自己的Channel和其子类实现，用于异步I/O操作和其他相关的操作。

私有协议栈开发

通信协议从广义上区分，可以分为公有协议和私有协议。由于私有协议的灵活性，它往往会在某个公司或者组织内部使用，按需定制，也因为如此，升级起来会非常方便，灵活性好。绝大多数的私有协议传输层都基于TCP/IP，所以利用Netty的NIO TCP协议栈可以非常方便地进行私有协议的定制和开发。

文件传输

文件（File）是最常见的数据源之一，在程序中经常需要将数据存储到文件中，例如图片文件、声音文件等数据文件。在实际使用时，文件都包含一个特定的格式，这个格式需要程序员根据需求进行设计。读取已有的文件时也需要熟悉对应的文件格式，才能把数据从文件中正确地读取出来。

UDP协议开发

UDP是用户数据报协议（User Datagram Protocol，UDP）的简称，其主要作用是将网络数据流量压缩成数据报形式，提供面向事务的简单信息传送服务。与TCP协议不同，UDP协议直接利用IP协议进行UDP数据报的传输，UDP提供的是面向无连接的、不可靠的数据报投递服务。

WebSocket协议开发

一直以来，网络在很大程度上都是围绕着HTTP的请求/响应模式而构建的。客户端加载一个网页，然后直到用户点击下一页之前，什么都不会发生。在2005年左右，Ajax开始让网络变得更加动态了。但所有的HTTP通信仍然是由客户端控制的，这就需要用户进行互动或定期轮询，以便从服务器加载新数据。

HTTP协议开发应用-HTTP&XML协议栈开发

Netty HTTP+XML协议栈开发 由于HTTP协议的通用性，很多异构系统间的通信交互采用HTTP协议，通过HTTP协议承载业务数据进行消息交互，例如非常流行的HTTP+XML或者RESTful+JSON。