处理器结构是干嘛的

初识 MyBatis MyBatis 是第一个支持自定义 SQL、存储过程和高级映射的类持久框架。MyBatis 消除了大部分 JDBC 的样板代码、手动设置参数以及检索结果。MyBatis 能够支持简单的 XML 和注解配置规则。使 Map 接口和 POJO 类映射到数据库字段和记录。 MyBatis 的特点 那么 MyBatis 具有什么特点呢？或许我们可以从如下几个方面来描述 MyBatis 中的 SQL 语句和主要业务代码分离，我们一般会把 MyBatis 中的 SQL 语句统一放在 XML 配置文件中，便于统一维护。 解除 SQL 与程序代码的耦合，通过提供 DAO 层，将业务逻辑和数据访问逻辑分离，使系统的设计更清晰，更易维护，更易单元测试。SQL 和代码的分离，提高了可维护性。 MyBatis 比较简单和轻量 本身就很小且简单。没有任何第三方依赖，只要通过配置 jar 包，或者如果你使用 Maven 项目的话只需要配置 Maven 以来就可以。易于使用，通过文档和源代码，可以比较完全的掌握它的设计思路和实现。 屏蔽样板代码 MyBatis 回屏蔽原始的 JDBC 样板代码，让你把更多的精力专注于 SQL 的书写和属性-字段映射上。 编写原生 SQL，支持多表关联 MyBatis 最主要的特点就是你可以手动编写 SQL 语句，能够支持多表关联查询。 提供映射标签，支持对象与数据库的 ORM 字段关系映射 ORM 是什么？对象关系映射(Object Relational Mapping，简称ORM) ，是通过使用描述对象和数据库之间映射的元数据，将面向对象语言程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 提供 XML 标签，支持编写动态 SQL。 你可以使用 MyBatis XML 标签，起到 SQL 模版的效果，减少繁杂的 SQL 语句，便于维护。 MyBatis 整体架构 MyBatis 最上面是接口层，接口层就是开发人员在 Mapper 或者是 Dao 接口中的接口定义，是查询、新增、更新还是删除操作；中间层是数据处理层，主要是配置 Mapper -> XML 层级之间的参数映射，SQL 解析，SQL 执行，结果映射的过程。上述两种流程都由基础支持层来提供功能支撑，基础支持层包括连接管理，事务管理，配置加载，缓存处理等。 接口层 在不与Spring 集成的情况下，使用 MyBatis 执行数据库的操作主要如下： InputStream is = Resources.getResourceAsStream("myBatis-config.xml"); SqlSessionFactoryBuilder builder = new SqlSessionFactoryBuilder(); SqlSessionFactory factory = builder.build(is); sqlSession = factory.openSession(); 其中的SqlSessionFactory,SqlSession是 MyBatis 接口的核心类，尤其是 SqlSession，这个接口是MyBatis 中最重要的接口，这个接口能够让你执行命令，获取映射，管理事务。 数据处理层 配置解析 在 Mybatis 初始化过程中，会加载 mybatis-config.xml 配置文件、映射配置文件以及 Mapper 接口中的注解信息，解析后的配置信息会形成相应的对象并保存到 Configration 对象中。之后，根据该对象创建SqlSessionFactory 对象。待 Mybatis 初始化完成后，可以通过 SqlSessionFactory 创建 SqlSession 对象并开始数据库操作。 SQL 解析与 scripting 模块 Mybatis 实现的动态 SQL 语句，几乎可以编写出所有满足需要的 SQL。 Mybatis 中 scripting 模块会根据用户传入的参数，解析映射文件中定义的动态 SQL 节点，形成数据库能执行的SQL 语句。 SQL 执行 SQL 语句的执行涉及多个组件，包括 MyBatis 的四大核心，它们是: Executor、StatementHandler、ParameterHandler、ResultSetHandler。SQL 的执行过程可以用下面这幅图来表示 MyBatis 层级结构各个组件的介绍(这里只是简单介绍，具体介绍在后面)： SqlSession： ，它是 MyBatis 核心 API，主要用来执行命令，获取映射，管理事务。接收开发人员提供 Statement Id 和参数。并返回操作结果。Executor ：执行器，是 MyBatis 调度的核心，负责 SQL 语句的生成以及查询缓存的维护。StatementHandler : 封装了JDBC Statement 操作，负责对 JDBC Statement 的操作，如设置参数、将Statement 结果集转换成 List 集合。ParameterHandler : 负责对用户传递的参数转换成 JDBC Statement 所需要的参数。ResultSetHandler : 负责将 JDBC 返回的 ResultSet 结果集对象转换成 List 类型的集合。TypeHandler : 用于 Java 类型和 JDBC 类型之间的转换。MappedStatement : 动态 SQL 的封装SqlSource : 表示从 XML 文件或注释读取的映射语句的内容，它创建将从用户接收的输入参数传递给数据库的 SQL。Configuration: MyBatis 所有的配置信息都维持在 Configuration 对象之中。 基础支持层 反射模块 Mybatis 中的反射模块，对 Java 反射进行了很好的封装，提供了简易的 API，方便上层调用，并且对反射操作进行了一系列的优化，比如，缓存了类的 元数据（MetaClass）和对象的元数据（MetaObject），提高了反射操作的性能。 类型转换模块 Mybatis 的别名机制，能够简化配置文件，该机制是类型转换模块的主要功能之一。类型转换模块的另一个功能是实现 JDBC 类型与 Java 类型的转换。在 SQL 语句绑定参数时，会将数据由 Java 类型转换成 JDBC 类型；在映射结果集时，会将数据由 JDBC 类型转换成 Java 类型。 日志模块 在 Java 中，有很多优秀的日志框架，如 Log4j、Log4j2、slf4j 等。Mybatis 除了提供了详细的日志输出信息，还能够集成多种日志框架，其日志模块的主要功能就是集成第三方日志框架。 资源加载模块 该模块主要封装了类加载器，确定了类加载器的使用顺序，并提供了加载类文件和其它资源文件的功能。 解析器模块 该模块有两个主要功能：一个是封装了 XPath，为 Mybatis 初始化时解析 mybatis-config.xml配置文件以及映射配置文件提供支持；另一个为处理动态 SQL 语句中的占位符提供支持。 数据源模块 Mybatis 自身提供了相应的数据源实现，也提供了与第三方数据源集成的接口。数据源是开发中的常用组件之一，很多开源的数据源都提供了丰富的功能，如连接池、检测连接状态等，选择性能优秀的数据源组件，对于提供ORM 框架以及整个应用的性能都是非常重要的。 事务管理模块 一般地，Mybatis 与 Spring 框架集成，由 Spring 框架管理事务。但 Mybatis 自身对数据库事务进行了抽象，提供了相应的事务接口和简单实现。 缓存模块 Mybatis 中有一级缓存和二级缓存，这两级缓存都依赖于缓存模块中的实现。但是需要注意，这两级缓存与Mybatis 以及整个应用是运行在同一个 JVM 中的，共享同一块内存，如果这两级缓存中的数据量较大，则可能影响系统中其它功能，所以需要缓存大量数据时，优先考虑使用 Redis、Memcache 等缓存产品。 Binding 模块 在调用 SqlSession 相应方法执行数据库操作时，需要制定映射文件中定义的 SQL 节点，如果 SQL 中出现了拼写错误，那就只能在运行时才能发现。为了能尽早发现这种错误，Mybatis 通过 Binding 模块将用户自定义的Mapper 接口与映射文件关联起来，系统可以通过调用自定义 Mapper 接口中的方法执行相应的 SQL 语句完成数据库操作，从而避免上述问题。注意，在开发中，我们只是创建了 Mapper 接口，而并没有编写实现类，这是因为 Mybatis 自动为 Mapper 接口创建了动态代理对象。 MyBatis 核心组件 在认识了 MyBatis 并了解其基础架构之后，下面我们来看一下 MyBatis 的核心组件，就是这些组件实现了从 SQL 语句到映射到 JDBC 再到数据库字段之间的转换，执行 SQL 语句并输出结果集。首先来认识 MyBatis 的第一个核心组件 SqlSessionFactory 对于任何框架而言，在使用该框架之前都要经历过一系列的初始化流程，MyBatis 也不例外。MyBatis 的初始化流程如下 String resource = "org/mybatis/example/mybatis-config.xml"; InputStream inputStream = Resources.getResourceAsStream(resource); SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); sqlSessionFactory.openSession(); 上述流程中比较重要的一个对象就是SqlSessionFactory，SqlSessionFactory 是 MyBatis 框架中的一个接口，它主要负责的是 MyBatis 框架初始化操作 为开发人员提供SqlSession 对象 SqlSessionFactory 有两个实现类，一个是 SqlSessionManager 类，一个是 DefaultSqlSessionFactory 类 DefaultSqlSessionFactory : SqlSessionFactory 的默认实现类，是真正生产会话的工厂类，这个类的实例的生命周期是全局的，它只会在首次调用时生成一个实例（单例模式），就一直存在直到服务器关闭。 SqlSessionManager ： 已被废弃，原因大概是: SqlSessionManager 中需要维护一个自己的线程池，而使用MyBatis 更多的是要与 Spring 进行集成，并不会单独使用，所以维护自己的 ThreadLocal 并没有什么意义，所以 SqlSessionManager 已经不再使用。 ####SqlSessionFactory 的执行流程 下面来对 SqlSessionFactory 的执行流程来做一个分析 首先第一步是 SqlSessionFactory 的创建 SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); 1 从这行代码入手，首先创建了一个 SqlSessionFactoryBuilder 工厂，这是一个建造者模式的设计思想，由 builder 建造者来创建 SqlSessionFactory 工厂 然后调用 SqlSessionFactoryBuilder 中的 build 方法传递一个InputStream 输入流，Inputstream 输入流中就是你传过来的配置文件 mybatis-config.xml，SqlSessionFactoryBuilder 根据传入的 InputStream 输入流和environment、properties属性创建一个XMLConfigBuilder对象。SqlSessionFactoryBuilder 对象调用XMLConfigBuilder 的parse()方法，流程如下。 XMLConfigBuilder 会解析/configuration标签，configuration 是 MyBatis 中最重要的一个标签，下面流程会介绍 Configuration 标签。 MyBatis 默认使用 XPath 来解析标签，关于 XPath 的使用，参见 https://www.w3school.com.cn/xpath/index.asp 在 parseConfiguration 方法中，会对各个在 /configuration 中的标签进行解析 重要配置 说一下这些标签都是什么意思吧 properties，外部属性，这些属性都是可外部配置且可动态替换的，既可以在典型的 Java 属性文件中配置，亦可通过 properties 元素的子元素来传递。 <properties> <property name="driver" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/test" /> <property name="username" value="root" /> <property name="password" value="root" /> </properties> 一般用来给 environment 标签中的 dataSource 赋值 <environment id="development"> <transactionManager type="JDBC" /> <dataSource type="POOLED"> <property name="driver" value="${driver}" /> <property name="url" value="${url}" /> <property name="username" value="${username}" /> <property name="password" value="${password}" /> </dataSource> </environment> 还可以通过外部属性进行配置，但是我们这篇文章以原理为主，不会介绍太多应用层面的操作。 settings ，MyBatis 中极其重要的配置，它们会改变 MyBatis 的运行时行为。 settings 中配置有很多，具体可以参考 https://mybatis.org/mybatis-3/zh/configuration.html#settings 详细了解。这里介绍几个平常使用过程中比较重要的配置 一般使用如下配置 <settings> <setting name="cacheEnabled" value="true"/> <setting name="lazyLoadingEnabled" value="true"/> </settings> typeAliases，类型别名，类型别名是为 Java 类型设置的一个名字。 它只和 XML 配置有关。 <typeAliases> <typeAlias alias="Blog" type="domain.blog.Blog"/> </typeAliases> 当这样配置时，Blog 可以用在任何使用 domain.blog.Blog 的地方。 typeHandlers，类型处理器，无论是 MyBatis 在预处理语句（PreparedStatement）中设置一个参数时，还是从结果集中取出一个值时， 都会用类型处理器将获取的值以合适的方式转换成 Java 类型。 在 org.apache.ibatis.type 包下有很多已经实现好的 TypeHandler，可以参考如下 你可以重写类型处理器或创建你自己的类型处理器来处理不支持的或非标准的类型。 具体做法为：实现 org.apache.ibatis.type.TypeHandler 接口， 或继承一个很方便的类 org.apache.ibatis.type.BaseTypeHandler， 然后可以选择性地将它映射到一个 JDBC 类型。 objectFactory，对象工厂，MyBatis 每次创建结果对象的新实例时，它都会使用一个对象工厂（ObjectFactory）实例来完成。默认的对象工厂需要做的仅仅是实例化目标类，要么通过默认构造方法，要么在参数映射存在的时候通过参数构造方法来实例化。如果想覆盖对象工厂的默认行为，则可以通过创建自己的对象工厂来实现。 public class ExampleObjectFactory extends DefaultObjectFactory { public Object create(Class type) { return super.create(type); } public Object create(Class type, List constructorArgTypes, List constructorArgs) { return super.create(type, constructorArgTypes, constructorArgs); } public void setProperties(Properties properties) { super.setProperties(properties); } public boolean isCollection(Class type) { return Collection.class.isAssignableFrom(type); } } 然后需要在 XML 中配置此对象工厂 <objectFactory type="org.mybatis.example.ExampleObjectFactory"> <property name="someProperty" value="100"/> </objectFactory> plugins，插件开发，插件开发是 MyBatis 设计人员给开发人员留给自行开发的接口，MyBatis 允许你在已映射语句执行过程中的某一点进行拦截调用。MyBatis 允许使用插件来拦截的方法调用包括：Executor、ParameterHandler、ResultSetHandler、StatementHandler 接口，这几个接口也是 MyBatis 中非常重要的接口，我们下面会详细介绍这几个接口。 environments，MyBatis 环境配置，MyBatis 可以配置成适应多种环境，这种机制有助于将 SQL 映射应用于多种数据库之中。例如，开发、测试和生产环境需要有不同的配置；或者想在具有相同 Schema 的多个生产数据库中 使用相同的 SQL 映射。 这里注意一点，虽然 environments 可以指定多个环境，但是 SqlSessionFactory 只能有一个，为了指定创建哪种环境，只要将它作为可选的参数传递给 SqlSessionFactoryBuilder 即可。 SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(reader, environment); SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(reader, environment, properties); databaseIdProvider ，数据库厂商标示，MyBatis 可以根据不同的数据库厂商执行不同的语句，这种多厂商的支持是基于映射语句中的 databaseId 属性。 <databaseIdProvider type="DB_VENDOR"> <property name="SQL Server" value="sqlserver"/> <property name="DB2" value="db2"/> <property name="Oracle" value="oracle" /> </databaseIdProvider> mappers，映射器，这是告诉 MyBatis 去哪里找到这些 SQL 语句，mappers 映射配置有四种方式 上面的一个个属性都对应着一个解析方法，都是使用 XPath 把标签进行解析，解析完成后返回一个 DefaultSqlSessionFactory 对象，它是 SqlSessionFactory 的默认实现类。这就是 SqlSessionFactoryBuilder 的初始化流程，通过流程我们可以看到，初始化流程就是对一个个 /configuration 标签下子标签的解析过程。 SqlSession 在 MyBatis 初始化流程结束，也就是 SqlSessionFactoryBuilder -> SqlSessionFactory 的获取流程后，我们就可以通过 SqlSessionFactory 对象得到 SqlSession 然后执行 SQL 语句了。具体来看一下这个过程‘ 在 SqlSessionFactory.openSession 过程中我们可以看到，会调用到 DefaultSqlSessionFactory 中的 openSessionFromDataSource 方法，这个方法主要创建了两个与我们分析执行流程重要的对象，一个是 Executor 执行器对象，一个是 SqlSession 对象。执行器我们下面会说，现在来说一下 SqlSession 对象 SqlSession 对象是 MyBatis 中最重要的一个对象，这个接口能够让你执行命令，获取映射，管理事务。SqlSession 中定义了一系列模版方法，让你能够执行简单的 CRUD 操作，也可以通过 getMapper 获取 Mapper 层，执行自定义 SQL 语句，因为 SqlSession 在执行 SQL 语句之前是需要先开启一个会话，涉及到事务操作，所以还会有 commit、 rollback、close 等方法。这也是模版设计模式的一种应用。 MapperProxy MapperProxy 是 Mapper 映射 SQL 语句的关键对象，我们写的 Dao 层或者 Mapper 层都是通过 MapperProxy 来和对应的 SQL 语句进行绑定的。下面我们就来解释一下绑定过程 这就是 MyBatis 的核心绑定流程，我们可以看到 SqlSession 首先调用 getMapper 方法，我们刚才说到 SqlSession 是大哥级别的人物，只定义标准（有一句话是怎么说的来着，一流的企业做标准，二流的企业做品牌，三流的企业做产品）。 SqlSession 不愿意做的事情交给 Configuration 这个手下去做，但是 Configuration 也是有小弟的，它不愿意做的事情直接甩给小弟去做，这个小弟是谁呢？它就是 MapperRegistry，马上就到核心部分了。MapperRegistry 相当于项目经理，项目经理只从大面上把握项目进度，不需要知道手下的小弟是如何工作的，把任务完成了就好。最终真正干活的还是 MapperProxyFactory。看到这段代码 Proxy.newProxyInstance ，你是不是有一种恍然大悟的感觉，如果你没有的话，建议查阅一下动态代理的文章，这里推荐一篇 （https://www.jianshu.com/p/95970b089360） 也就是说，MyBatis 中 Mapper 和 SQL 语句的绑定正是通过动态代理来完成的。 通过动态代理，我们就可以方便的在 Dao 层或者 Mapper 层定义接口，实现自定义的增删改查操作了。那么具体的执行过程是怎么样呢？上面只是绑定过程，别着急，下面就来探讨一下 SQL 语句的执行过程。 MapperProxyFactory 会生成代理对象，这个对象就是 MapperProxy，最终会调用到 mapperMethod.execute 方法，execute 方法比较长，其实逻辑比较简单，就是判断是 插入、更新、删除 还是 查询 语句，其中如果是查询的话，还会判断返回值的类型，我们可以点进去看一下都是怎么设计的。 很多代码其实可以忽略，只看我标出来的重点就好了，我们可以看到，不管你前面经过多少道关卡处理，最终都逃不过 SqlSession 这个老大制定的标准。 我们以 selectList 为例，来看一下下面的执行过程。 这是 DefaultSqlSession 中 selectList 的代码，我们可以看到出现了 executor，这是什么呢？我们下面来解释。 Executor 还记得我们之前的流程中提到了 Executor(执行器) 这个概念吗？我们来回顾一下它第一次出现的位置。 由 Configuration 对象创建了一个 Executor 对象，这个 Executor 是干嘛的呢？下面我们就来认识一下 Executor 的继承结构 每一个 SqlSession 都会拥有一个 Executor 对象，这个对象负责增删改查的具体操作，我们可以简单的将它理解为 JDBC 中 Statement 的封装版。 也可以理解为 SQL 的执行引擎，要干活总得有一个发起人吧，可以把 Executor 理解为发起人的角色。 首先先从 Executor 的继承体系来认识一下 如上图所示，位于继承体系最顶层的是 Executor 执行器，它有两个实现类，分别是BaseExecutor和 CachingExecutor。 BaseExecutor 是一个抽象类，这种通过抽象的实现接口的方式是适配器设计模式之接口适配 的体现，是Executor 的默认实现，实现了大部分 Executor 接口定义的功能，降低了接口实现的难度。BaseExecutor 的子类有三个，分别是 SimpleExecutor、ReuseExecutor 和 BatchExecutor。 SimpleExecutor : 简单执行器，是 MyBatis 中默认使用的执行器，每执行一次 update 或 select，就开启一个Statement 对象，用完就直接关闭 Statement 对象(可以是 Statement 或者是 PreparedStatment 对象) ReuseExecutor : 可重用执行器，这里的重用指的是重复使用 Statement，它会在内部使用一个 Map 把创建的Statement 都缓存起来，每次执行 SQL 命令的时候，都会去判断是否存在基于该 SQL 的 Statement 对象，如果存在 Statement 对象并且对应的 connection 还没有关闭的情况下就继续使用之前的 Statement 对象，并将其缓存起来。因为每一个 SqlSession 都有一个新的 Executor 对象，所以我们缓存在 ReuseExecutor 上的 Statement作用域是同一个 SqlSession。 BatchExecutor : 批处理执行器，用于将多个 SQL 一次性输出到数据库 CachingExecutor: 缓存执行器，先从缓存中查询结果，如果存在就返回之前的结果；如果不存在，再委托给Executor delegate 去数据库中取，delegate 可以是上面任何一个执行器。 Executor 的创建和选择 我们上面提到 Executor 是由 Configuration 创建的，Configuration 会根据执行器的类型创建，如下 这一步就是执行器的创建过程，根据传入的 ExecutorType 类型来判断是哪种执行器，如果不指定 ExecutorType ，默认创建的是简单执行器。它的赋值可以通过两个地方进行赋值： 可以通过 标签来设置当前工程中所有的 SqlSession 对象使用默认的 Executor <settings> <!--取值范围 SIMPLE, REUSE, BATCH --> <setting name="defaultExecutorType" value="SIMPLE"/> </settings> 另外一种直接通过Java对方法赋值的方式 session = factory.openSession(ExecutorType.BATCH); Executor 的具体执行过程 Executor 中的大部分方法的调用链其实是差不多的，下面是深入源码分析执行过程，如果你没有时间或者暂时不想深入研究的话，给你下面的执行流程图作为参考。 我们紧跟着上面的 selectList 继续分析，它会调用到 executor.query 方法。 当有一个查询请求访问的时候，首先会经过 Executor 的实现类 CachingExecutor ，先从缓存中查询 SQL 是否是第一次执行，如果是第一次执行的话，那么就直接执行 SQL 语句，并创建缓存，如果第二次访问相同的 SQL 语句的话，那么就会直接从缓存中提取。 上面这段代码是从 selectList -> 从缓存中 query 的具体过程。可能你看到这里有些觉得类都是什么东西，我想鼓励你一下，把握重点，不用每段代码都看，从找到 SQL 的调用链路，其他代码想看的时候在看，看源码就是很容易发蒙，容易烦躁，但是切记一点，把握重点。 上面代码会判断缓存中是否有这条 SQL 语句的执行结果，如果没有的话，就再重新创建 Executor 执行器执行 SQL 语句，注意， list = doQuery 是真正执行 SQL 语句的过程，这个过程中会创建我们上面提到的三种执行器，这里我们使用的是简单执行器。 到这里，执行器所做的工作就完事了，Executor 会把后续的工作交给 StatementHandler 继续执行。下面我们来认识一下 StatementHandler 上面代码会判断缓存中是否有这条 SQL 语句的执行结果，如果没有的话，就再重新创建 Executor 执行器执行 SQL 语句，注意， list = doQuery 是真正执行 SQL 语句的过程，这个过程中会创建我们上面提到的三种执行器，这里我们使用的是简单执行器。 到这里，执行器所做的工作就完事了，Executor 会把后续的工作交给 StatementHandler 继续执行。下面我们来认识一下 StatementHandler StatementHandler 的继承结构 有没有感觉和 Executor 的继承体系很相似呢？最顶级接口是四大组件对象，分别有两个实现类 BaseStatementHandler 和 RoutingStatementHandler，BaseStatementHandler 有三个实现类, 他们分别是 SimpleStatementHandler、PreparedStatementHandler 和 CallableStatementHandler。 RoutingStatementHandler : RoutingStatementHandler 并没有对 Statement 对象进行使用，只是根据StatementType 来创建一个代理，代理的就是对应Handler的三种实现类。在MyBatis工作时,使用的StatementHandler 接口对象实际上就是 RoutingStatementHandler 对象。 BaseStatementHandler : 是 StatementHandler 接口的另一个实现类，它本身是一个抽象类，用于简化StatementHandler 接口实现的难度，属于适配器设计模式体现，它主要有三个实现类 SimpleStatementHandler: 管理 Statement 对象并向数据库中推送不需要预编译的SQL语句。PreparedStatementHandler: 管理 Statement 对象并向数据中推送需要预编译的SQL语句。CallableStatementHandler：管理 Statement 对象并调用数据库中的存储过程。 StatementHandler 的创建和源码分析 我们继续来分析上面 query 的调用链路，StatementHandler 的创建过程如下 MyBatis 会根据 SQL 语句的类型进行对应 StatementHandler 的创建。我们以预处理 StatementHandler 为例来讲解一下 执行器不仅掌管着 StatementHandler 的创建，还掌管着创建 Statement 对象，设置参数等，在创建完 PreparedStatement 之后，我们需要对参数进行处理了。 如 如果用一副图来表示一下这个执行流程的话我想是这样 这里我们先暂停一下，来认识一下第三个核心组件 ParameterHandler ParameterHandler - ParameterHandler 介绍 ParameterHandler 相比于其他的组件就简单很多了，ParameterHandler 译为参数处理器，负责为 PreparedStatement 的 sql 语句参数动态赋值，这个接口很简单只有两个方法 ParameterHandler 只有一个实现类 DefaultParameterHandler ， 它实现了这两个方法。 getParameterObject： 用于读取参数setParameters: 用于对 PreparedStatement 的参数赋值ParameterHandler 的解析过程 上面我们讨论过了 ParameterHandler 的创建过程，下面我们继续上面 parameterSize 流程 这就是具体参数的解析过程了，下面我们来描述一下 下面用一个流程图表示一下 ParameterHandler 的解析过程，以简单执行器为例 我们在完成 ParameterHandler 对 SQL 参数的预处理后，回到 SimpleExecutor 中的 doQuery 方法 上面又引出来了一个重要的组件那就是 ResultSetHandler，下面我们来认识一下这个组件 ResultSetHandler - ResultSetHandler 简介 ResultSetHandler 也是一个非常简单的接口 ResultSetHandler 是一个接口，它只有一个默认的实现类，像是 ParameterHandler 一样，它的默认实现类是DefaultResultSetHandler ResultSetHandler 解析过程 MyBatis 只有一个默认的实现类就是 DefaultResultSetHandler，DefaultResultSetHandler 主要负责处理两件事 处理 Statement 执行后产生的结果集，生成结果列表 处理存储过程执行后的输出参数 按照 Mapper 文件中配置的 ResultType 或 ResultMap 来封装成对应的对象，最后将封装的对象返回即可。 其中涉及的主要对象有： ResultSetWrapper : 结果集的包装器，主要针对结果集进行的一层包装，它的主要属性有 ResultSet : Java JDBC ResultSet 接口表示数据库查询的结果。 有关查询的文本显示了如何将查询结果作为java.sql.ResultSet 返回。 然后迭代此ResultSet以检查结果。 TypeHandlerRegistry: 类型注册器，TypeHandlerRegistry 在初始化的时候会把所有的 Java类型和类型转换器进行注册。 ColumnNames: 字段的名称，也就是查询操作需要返回的字段名称 ClassNames: 字段的类型名称，也就是 ColumnNames 每个字段名称的类型 JdbcTypes: JDBC 的类型，也就是 java.sql.Types 类型 ResultMap: 负责处理更复杂的映射关系 在 DefaultResultSetHandler 中处理完结果映射，并把上述结构返回给调用的客户端，从而执行完成一条完整的SQL语句。 内容转载自：CSDN博主：cxuann 原文链接：https://blog.csdn.net/qq_36894974/article/details/104132876?depth_1-utm_source=distribute.pc_feed.none-task&request_id=&utm_source=distribute.pc_feed.none-task

一。zval、引用计数、变量分离、写时拷贝我们一步步来理解1、php语言特性PHP是脚本语言，所谓脚本语言，就是说PHP并不是独立运行的，要运行PHP代码需要PHP解析器，用户编写的PHP代码最终都会被PHP解析器解析执行PHP的执行是通过Zend engine（ZE, Zend引擎），ZE是用C编写的用户编写的PHP代码最终都会被翻译成PHP的虚拟机ZE的虚拟指令（OPCODES）来执行也就说最终会被翻译成一条条的指令既然这样，有什么结果和你预想的不一样，查看php源码是最直接最有效的 2、php变量的存储结构在PHP中，所有的变量都是用一个结构zval结构来保存的，在Zend/zend.h中可以看到zval的定义：zval结构包括：① value —— 值，是真正保存数据的关键部分，定义为一个联合体(union)② type —— 用来储存变量的类型 ③ is_ref —— 下面介绍④ refcount —— 下面介绍 声明一个变量$addr="北京";PHP内部都是使用zval来表示变量的，那对于上面的脚本，ZE是如何把addr和内部的zval结构联系起来的呢？变量都是有名字的（本例中变量名为addr）而zval中并没有相应的字段来体现变量名。PHP内部肯定有一个机制，来实现变量名到zval的映射在PHP中，所有的变量都会存储在一个数组中（确切的说是hash table）当你创建一个变量的时候，PHP会为这个变量分配一个zval，填入相应的信息，然后将这个变量的名字和指向这个zval的指针填入一个数组中。当你获取这个变量的时候，PHP会通过查找这个数组，取得对应的zval 注意：数组和对象这类复合类型在生成zval时，会为每个单元生成一个zval3、我们经常说每个变量都有一个内存地址，那这个zval和变量的内存地址，这俩有什么关系吗？定义一个变量会开辟一块内存，这块内存好比一个盒子，盒子里放了zval，zval里保存了变量的相关信息，需要开辟多大的内存，是由zval所占空间大小决定的zval是内存对象，垃圾回收的时候会把zval和内存地址（盒子）分别释放掉 4、引用计数、变量分离、写时拷贝zval中的refcount和is_ref还没有介绍，我们知道PHP是一个长时间运行的服务器端脚本。那么对于它来说，效率和资源占用率是一个很重要的衡量标准，也就是说，PHP必须尽量减少内存占用率。考虑下面这段代码：第一行代码创建了一个字符串变量，申请了一个大小为9字节的内存，保存了字符串“laruence”和一个NULL(0)的结尾第二行定义了一个新的字符串变量，并将变量var的值“复制”给这个新的变量第三行unset了变量var 这样的代码是很常见的，如果PHP对于每一个变量赋值都重新分配内存，copy数据的话，那么上面的这段代码就要申请18个字节的内存空间，为了申请新的内存，还需要cpu执行某些计算，这当然会加重cpu的负载而我们也很容易看出来，上面的代码其实根本没有必要申请两份空间，当第三句执行后，$var被释放了，我们刚才的设想（申请18个字节内存空间）突然变的很滑稽，这次复制显得好多余。如果早知道$var不用了，直接让$var_dup用$var的内存不就行了，还复制干嘛？如果你觉得9个字节没什么，那设想下如果$var是个10M的文件内容，或者20M，是不是我们的计算机资源消耗的有点冤枉呢？呵呵，PHP的开发者也看出来了： 刚才说了，PHP中的变量是用一个存储在symbol_table中的符号名，对应一个zval来实现的，比如对于上面的第一行代码，会在symbol_table中存储一个值“var”，对应的有一个指针指向一个zval结构，变量值“laruence”保存在这个zval中，所以不难想象，对于上面的代码来说，我们完全可以让“var”和“var_dup”对应的指针都指向同一个zval就可以了（额，鸟哥一会说hash table，一会说symbol_table，暂且理解为symbol_table是hash table的子集） PHP也是这样做的，这个时候就需要介绍一下zval结构中的refcount字段了refcount，引用计数，记录了当前的zval被引用的次数（这里的引用并不是真正的 & ，而是有几个变量指向它）比如对于代码:第一行，创建了一个整形变量，变量值是1。 此时保存整形1的这个zval的refcount为1第二行，创建了一个新的整形变量（通过赋值的方式），变量也指向刚才创建的zval，并将这个zval的refcount加1，此时这个zval的refcount为2所以，这个时候（通过值传递的方式赋值给别的变量），并没有产生新的zval，两个变量指向同一zval，通过一个计数器来共用zval及内存地址，以达到节省内存空间的目的当一个变量被第一次创建的时候，它对应的zval结构的refcount的值会被初始化为1，因为只有这一个变量在用它。但是当你把这个变量赋值给别的变量时，refcount属性便会加1变成2，因为现在有两个变量在用这个zval结构了 PHP提供了一个函数可以帮助我们了解这个过程debug_zval_dump输出：long(1) refcount(2)long(1) refcount(3)如果你奇怪 ，var的refcount应该是1啊？我们知道，对于简单变量，PHP是以传值的形式传参数的。也就是说，当执行debug_zval_dump($var)的时候，$var会以传值的方式传递给debug_zval_dump，也就是会导致var的refcount加1，所以只要能看到，当变量赋值给一个变量以后，能导致zval的refcount加1这个结果即可现在我们回头看上面的代码， 当执行了最后一行unset($var)以后，会发生什么呢？unset($var)的时候，它删除符号表里的$var的信息，准备清理它对应的zval及内存空间，这时它发现$var对应的zval结构的refcount值是2，也就是说，还有另外一个变量在一起用着这个zval，所以unset只需把这个zval的refcount减去1就行了上代码：输出：string(8) "laruence" refcount(2) 但是，对于下面的代码呢？很明显在这段代码执行以后，$var_dup的值应该还是“laruence”，那么这又是怎么实现的呢？这就是PHP的copy on write机制（简称COW）：PHP在修改一个变量以前，会首先查看这个变量的refcount，如果refcount大于1，PHP就会执行一个分离的过程（在Zend引擎中，分离是破坏一个引用对的过程）对于上面的代码，当执行到第三行的时候，PHP发现$var想要改变，并且它指向的zval的refcount大于1，那么PHP就会复制一个新的zval出来，改变其值，将改变的变量指向新的zval（哪个变量指向新复制的zval其实已经无所谓了），并将原zval的refcount减1，并修改symbol_table里该变量的指针，使得$var和$var_dup分离(Separation)。这个机制就是所谓的copy on write（写时复制，这里的写包括普通变量的修改及数组对象里的增加、删除单元操作）如果了解了is_ref之后，上面说的并不严谨 上代码测试：输出：long(1) refcount(2)string(8) "laruence" refcount(2) 现在我们知道，当使用变量复制的时候 ，PHP内部并不是真正的复制，而是采用指向相同的zval结构来节约开销。那么，对于PHP中的引用，又是如何实现呢？这段代码结束以后，$var也会被间接的修改为1，这个过程称作（change on write：写时改变）那么ZE是怎么知道，这次的复制不需要Separation呢？这个时候就要用到zval中的is_ref字段了：对于上面的代码，当第二行执行以后，$var所代表的zval的refcount变为2，并且设置is_ref为1到第三行的时候，PHP先检查var_ref对应的zval的is_ref字段（is_ref 表示该zval是否被&引用，仅表示真或假，就像开关的开与关一样，zval的初始化情况下为0，即非引用），如果为1，则不分离，直接更改（否则需要执行刚刚提到的zval分离），更改共享的zval实际上也间接更改了$var的值，因为引擎想所有的引用变量都看到这一改变php源码做了这样一个判断，大体逻辑示意如下：如果这个zval中的if_ref为1（即被引用），或者该zval引用计数小于2任何一种方式：都不会进行分离 尽管已经存在写时复制和写时改变，但仍然还存在一些不能通过is_ref和refcount来解决的问题对于如下的代码，又会怎样呢？这里$var、$var_dup、$var_ref三个变量将共用一个zval结构（其实这是不可能的，一个zval不可能既被&，又被指向），有两个属于change-on-write组合（$var和$var_ref），有两个属于copy-on-write组合（$var和$var_dup），那is_ref和refcount该怎样工作，才能正确的处理好这段复杂的关系呢？答案是不可能！在这种情况下，变量的值必须分离成两份完全独立的存在当执行第二行代码的时候，和前面讲过的一样，$var_dup 和 $var 指向相同的zval， refcount为2当执行第三行的时候，PHP发现要操作的zval的refcount大于1，则PHP会执行Separation（也就是说php将一个zval的is_ref从0设为1 之前，当然此时refcount还没有增加，会看该zval的refcount，如果refcount>1，则会分离）, 将$var_dup分离出去，并将$var和$var_ref做change on write关联。也就是，refcount=2, is_ref=1;所以内存会给变量var_dup 分配出一个新的zval，类型与值同 $var和$var_ref指向的zval一样，是新分配出来的，尽管他们拥有同样的值，但是必须通过两个zval来实现。试想一下，如果三者指向同一个zval的话，改边 $var_dup 的值，那么 $var和$var_ref 也会受到影响，这样就乱套了图解：下面的这段代码在内核中同样会产生歧义，所以需要强制复制！也就是说一个zval不会既被引用，又被指向，必须分离 基于这样的分析，我们就可以让debug_zval_dump出refcount为1的结果来：输出：string(8) "laruence" refcount(1) 为什么结果是refcount(1)呢debug_zval_dump()中参数是引用的话，refcount永远为1这两段代码在执行的时候是这样的逻辑：PHP先看变量指向的zval是否被引用，如果是引用，则不再产生新的zval甭管哪个变量引用了它，比如有个变量$a被引用了，$b=&$a，就算自己引用自己$a=&$a，$a所指向的zval都不会被复制，改变其中一个变量的值，另一个值也被改变（写时改变）如果is_ref为0且refcount大于1，改变其中一个变量时，复制新的zval（写时复制） 还有一个知识点需要了解下，就是PHP数组复制的机制复制一个数组，就是把一个数组赋值给一个变量便可。会把数组指针位置一同复制。这里面有两种情况：① 指针位置合法，这时直接复制，无影响② 原数组指针位置非法时（移出界），“新”数组指针会初始化（这里的新为什么要加引号？请看下文），而老的数组指针位置不变，还是false先看例子： 结果：!结果：出现这种情况好像不对？$arr2 难道不是新数组？新数组的数组指针应该重置了啊这里注意了：$arr2 = $arr1 ，在俩变量都没发生写操作时，他们其实引用的是同一个内存地址。在其中一个变量发生写操作后，内存地址会复制一份，发生改变的变量会去引用它，并把数组指针初始化。所以 $arr1 会去引用复制的内存地址，并将指针初始化二。.foreach循环时调用current等函数!结果： 56按照之前说的，foreach先赋值，再移动指针，再执行循环体，第一次结果为2可以理解为什么三次都是2呢？咋就这么2呢？因为current函数是按引用传递的函数 在zval笔记中说了，一个zval不能既被引用，又被指向所以，变量分离，重新拷贝一份数组专门用于current函数 当然，如果数组zval的is_ref为1，则不会拷贝数组了或者：结果：current是引用传参

Java Java核心技术·卷 I（原书第10版）| Core Java Volume 讲的很全面，书中的代码示例都很好，很适合Java入门。 但是作者不太厚道的是把现在没人用的GUI编程放在了第一卷，基本上10~13章是可以不用读的。 Java性能权威指南|Java Performance: The Definitive Guide 市面上介绍Java的书有很多，但专注于Java性能的并不多，能游刃有余地展示Java性能优化难点的更是凤毛麟角，本书即是其中之一。 通过使用JVM和Java平台，以及Java语言和应用程序接口，本书详尽讲解了Java性能调优的相关知识，帮助读者深入理解Java平台性能的各个方面，最终使程序如虎添翼。 实战Java高并发程序设计|葛一鸣 由部分段落的行文来看，搬了官方文档。 也有一些第一人称的叙述和思考，也能看出作者也是花了一点心思的。胜在比较基础，涉及到的知识点也还很全面（讲到了流水线计算和并发模型这些边边角角的），但是由于是编著，全书整体上不够统一和深入，适合作为学习高并发的第一本工具书。 Java 8实战 对Java8的新特性讲解的十分到位，尤其是lamdba表达式和流的操作。 再者对于Java8并发处理很有独到见解。对于并行数据处理和组合式异步编程还需要更深的思考才能更加掌握。 推荐给再用java8但没有去真正了解的人看，有很多你不知道的细节、原理和类库设计者的用心良苦在里面、内容没有很难，抽出几个小时就能看完，花费的时间和收获相比，性价比很高。 Java并发编程实战 先不谈本书的内容如何，光书名就足够吸引不少目光。“并发”这个词在Java世界里往往和“高级、核心”等字眼相联系起来，就冲着这两个字，都将勾起软件工程师们埋藏在心底那种对技术的探索欲和对高级API的驾驭感。 程序员嘛，多少都有点职业病。其实Java对“并发”优化从未停止过，从5.0到7.0，几乎每个版本的新特性里，都会针对前一版本在“并发”上有所改进。这种改进包括提供更丰富的API接口、JVM底层性能优化等诸多方面。 Thinking in Java 很美味的一本书，不仅有icecreamm，sundae，sandwich，还有burrito！真是越看越饿啊~ Effective Java中文版（第3版）|Effective Java Third Edition Java 高阶书籍，小白劝退。介绍了关于Java 编程的90个经验技巧。 作者功力非常强悍，导致这本书有时知识面迁移很广。总之，非常适合有一定Java开发经验的人阅读提升。 深入理解Java虚拟机（第3版）| 周志明 浅显易懂。最重要的是开启一扇理解虚拟机的大门。 内存管理机制与Java内存模型、高效并发这三章是特别实用的。 Java虚拟机规范（Java SE 8版）|爱飞翔、周志明 整本书就觉得第二章的方法字节码执行流程，第四章的前8节和第五章能看懂一些。其他的过于细致和琐碎了。 把Java字节码讲的很清楚了，本质上Java虚拟机就是通过字节码来构建的一套体系罢了。所以字节码说的非常细致深入。 数据&大数据 数据结构与算法分析|Data Structures and Algorithm Analysis in Java 数据结构是计算机的核心，这部书以java语言为基础，详细的介绍了基本数据结构、图、以及相关的排序、最短路径、最小生成树等问题。 但是有一些高级的数据结构并没有介绍，可以通过《数据结构与算法分析——C语言描述》来增加对这方面的了解。 MySQL必知必会 《MySQL必知必会》MySQL是世界上最受欢迎的数据库管理系统之一。 书中从介绍简单的数据检索开始，逐步深入一些复杂的内容，包括联结的使用、子查询、正则表达式和基于全文本的搜索、存储过程、游标、触发器、表约束，等等。通过重点突出的章节，条理清晰、系统而扼要地讲述了读者应该掌握的知识，使他们不经意间立刻功力大增。 数据库系统概念|Datebase System Concepts(Fifth Edition) 从大学读到现在，每次拿起都有新的收获。而且这本书还是对各个数据相关领域的概览，不仅仅是数据库本身。 高性能MySQL 对于想要了解MySQL性能提升的人来说，这是一本不可多得的书。 书中没有各种提升性能的秘籍，而是深入问题的核心，详细的解释了每种提升性能的原理，从而可以使你四两拨千斤。授之于鱼不如授之于渔，这本书做到了。 高可用MySQL 很实用的书籍，只可惜公司现有的业务和数据量还没有达到需要实践书中知识的地步。 利用Python进行数据分析|唐学韬 内容还是跟不上库的发展速度，建议结合里面讲的库的文档来看。 内容安排上我觉得还不错，作者是pandas的作者，所以对pandas的讲解和设计思路都讲得很清楚。除此以外，作者也是干过金融数据分析的，所以后面专门讲了时间序列和金融数据的分析。 HBase 看完影印版第一遍，开始以为会是大量讲API，实际上除了没有将HBase源代码，该讲的都讲了，CH8，9章留到最后看的，确实有点顿悟的感觉，接下来需要系统的看一遍Client API，然后深入代码，Come ON！ Programming Hive Hive工具书，Hive高级特性。 Hadoop in Practice| Alex Holmes 感觉比action那本要强 像是cookbook类型的 整个过完以后hadoop生态圈的各种都接触到了 这本书适合当参考手册用。 Hadoop技术内幕|董西成 其实国人能写这样的书，感觉还是不错的，不过感觉很多东西不太深入，感觉在深入之前，和先有整体，带着整体做深入会更好一点， jobclient,jobtracer,tasktracer之间的关系最好能系统化 Learning Spark 很不错，core的原理部分和api用途解释得很清楚，以前看文档和代码理解不了的地方豁然开朗。 不足的地方是后几章比较弱，mllib方面没有深入讲实现原理。graphx也没有涉及 ODPS权威指南 基本上还算一本不错的入门，虽然细节方面谈的不多，底层也不够深入，但毕竟是少有的ODPS书籍，且覆盖面很全，例子也还行。 数据之巅|徐子沛 从一个新的视角（数据）切入，写美国历史，统计学的发展贯穿其中，草蛇灰线，伏脉千里，读起来波澜壮阔。 消息队列&Redis RabbitMQ实战 很多年前的书了，书中的例子现在已经不适用了，推荐官方教程。 一些基础还是适用，网上也没有太多讲rab的书籍，将就看下也行，我没用过所以…. Apache Kafka源码剖析|徐郡明 虽然还没看，但知道应该不差。我是看了作者的mybatis源码分析，再来看这本的，相信作者。 作者怎么有这么多时间，把框架研究的这么透彻，佩服，佩服。 深入理解Kafka：核心设计与实践原理|朱忠华 通俗易懂，图文并茂，用了很多图和示例讲解kafka的架构，从宏观入手，再讲到细节，比较好，值得推荐。 深入理解Kafka是市面上讲解Kafka核心原理最透彻的，全书都是挑了kafka最核心的细节在讲比如分区副本选举、分区从分配、kafka数据存储结构、时间轮、我认为是目前kafka相关书籍里最好的一本。 Kafka 认真刷了 kafka internal 那章，看了个talk，算是入了个门。 系统设计真是门艺术。 RocketMQ实战与原理解析|杨开元 对RocketMQ的脉络做了一个大概的说明吧，深入细节的东西还是需要自己看代码 Redis设计与实现|黄健宏 部分内容写得比较啰嗦，当然往好了说是对新手友好，不厌其烦地分析细节，但也让整本书变厚了，个人以为精炼语言可以减少20%的内容。 对于有心一窥redis实现原理的读者来说，本书展露了足够丰富的内容和细节，却不至于让冗长的实现代码吓跑读者——伪代码的意义在此。下一步是真正读源码了。 Redis 深度历险：核心原理与应用实践|钱文品 真心不错，数据结构原理+实际应用+单线程模型+集群（sentinel, codis, redis cluster）, 分布式锁等等讲的都十分透彻。 一本书的作用不就是系统性梳理，为读者打开一扇窗，读者想了解更多，可以自己通过这扇窗去Google。这本书的一个瑕疵是最后一章吧，写的仓促了。不过瑕不掩瑜。 技术综合 TCP/IP详解 卷1：协议 读专业性书籍是一件很枯燥的事，我的建议就是把它作为一本手册，先浏览一遍，遇到问题再去详细查，高效。 Netty in Action 涉及到很多专业名词新概念看英文原版顺畅得多，第十五章 Choosing the right thread model 真是写得太好了。另外结合Ron Hitchens 写的《JAVA NIO》一起看对理解JAVA NIO和Netty还是很有帮助的 ZooKeeper 值得使用zookeeper的人员阅读, 对于zookeeper的内部机制及api进行了很详细的讲解, 后半部分深入地讲解了zookeeper中ensemble互相协作的流程, 及group等高级配置, 对zookeeper的高级应用及其它类似系统的设计都很有借鉴意义. 从Paxos到Zookeeper|倪超 分布式入门鼻祖，开始部分深入阐述cap和base理论，所有的分布式框架都是围绕这个理论的做平衡和取舍，中间 zk的原理、特性、实战也讲的非常清晰，同时讲cap理论在zk中是如何体现，更加深你对cap的理解. 深入理解Nginx（第2版）|陶辉 云里雾里的快速读了一遍，主要是读不懂，读完后的感受是设计的真好。 原本是抱着了解原理进而优化性能的想法来读的，却发现书中的内容都是讲源码，作者对源码的注释超级详细，非常适合开发者，但不适合使用者，给个五星好评是因为不想因为我这种菜鸡而埋没了高质量内容。 另外别人的代码写的真好看，即便是过程式语言程序也吊打我写的面向对象语言程序。 作者是zookeeper的活跃贡献者，而且是很资深的研究员，内容比较严谨而且较好的把握住了zk的精髓。书很薄，但是没有废话，选题是经过深思熟虑的。 深入剖析Tomcat 本书深入剖析Tomcat 4和Tomcat 5中的每个组件，并揭示其内部工作原理。通过学习本书，你将可以自行开发Tomcat组件，或者扩展已有的组件。 Tomcat是目前比较流行的Web服务器之一。作为一个开源和小型的轻量级应用服务器，Tomcat 易于使用，便于部署，但Tomcat本身是一个非常复杂的系统，包含了很多功能模块。这些功能模块构成了Tomcat的核心结构。本书从最基本的HTTP请求开始，直至使用JMX技术管理Tomcat中的应用程序，逐一剖析Tomcat的基本功能模块，并配以示例代码，使读者可以逐步实现自己的Web服务器。 深入理解计算机系统 | 布莱恩特 无论是内容还是纸张印刷，都是满分。计算机学科的集大成之作。引导你如何练内功的，算是高配版本的计算机导论，目的是釜底抽薪引出来操作系统、组成原理这些专业核心的课程。帮助我们按图索骥，点亮一个一个技能树。 架构探险分布式服务框架 | 李业兵 刚看前几章的时候，心里满脑子想得都是这特么贴一整页pom文件代码上来干鸡毛，又是骗稿费的，买亏了买亏了，后来到序列化那章开始，诶？还有那么点意思啊。 到服务注册中心和服务通讯，60块钱的书钱已经赚回来了。 知识是无价的，如果能花几十块钱帮你扫了几个盲区，那就是赚了。 深入分析JavaWeb技术内幕 | 许令波 与这本书相识大概是四年前是在老家的北方图书城里，当时看到目录的感觉是真的惊艳，对当时刚入行的自己来说，这简直就是为我量身定做的扫盲科普集啊。 但是可惜的是，这本书在后来却一直没机会读上。然后经过四年的打怪升级之后，这次的阅读体验依旧很好。 其中，java编译原理、 Servlet工作原理、 Tomcat、spring和iBatis这几章的收获很大。 前端 jQuery 技术内幕| 高云 非常棒的一本书，大大降低了阅读jquery源码的难度（虽然还是非常难）。 Head First HTML与CSS（第2版） 翻了非常久的时间 断断续续 其实从头翻到尾 才发现一点都不难。 可我被自己的懒惰和畏难情绪给拖累了 简单说 我成了自己往前探索的负担。网页基础的语法基本都涵盖了 限于文本形态 知识点都没法像做题一样被反复地运用和复习到。通俗易懂 这不知算是多高的评价？ 作为入门真心算不错了 如果更有耐心 在翻完 HTML 后 对 CSS 部分最好是可以迅速过一遍 找案例练习估计更好 纸上得来终觉浅 总是这样。 JavaScript高级程序设计（第3版） JavaScript最基础的书籍，要看认真，慢慢地看，累计接近1000小时吧。而且对象与继承，性能优化，HTML5 api由于没有实践或缺乏代码阅读量导致看的很糊涂，不过以后可以遇到时再翻翻，或者看更专业的书。 深入理解ES6 Zakas的又一部杰作，他的作品最优秀的地方在于只是阐述，很少评价，这在帮助我们夯实基础时十分有意义，我也喜欢这种风格。 我是中英文参照阅读的，译本后半部分有一些文字上的纰漏，但是总体来说忠实原文，水平还是相当不错，希望再版时可以修复这些文字问题。 高性能JavaScript 还是挺不错的。尤其是对初学者。总结了好多程序方面的好习惯。 不过对于老手来说，这些常识已经深入骨髓了。 深入浅出Node.js|朴灵 本书是我看到现在对Node.JS技术原理和应用实践阐述的最深入，也最全面的一本书。鉴于作者也是淘宝的一位工程师，在技术总是国外好的大环境下，没有理由不给本书五颗星。 作者秉着授人于鱼不如授人于渔的精神，细致入微的从V8虚拟机，内存管理，字符串与Buffer的应用，异步编程的思路和原理这些基础的角度来解释Node.JS是如何工作的，比起市面上众多教你如何安装node，用几个包编写一些示例来比，本书绝对让人受益匪浅。 认真看完本书，几乎可以让你从一个Node的外行进阶到专家的水平。赞！ 总结 其实我觉得在我们现在这个浮躁的社会，大家闲暇时间都是刷抖音，逛淘宝，微博……他们都在一点点吞噬你的碎片时间，如果你尝试着去用碎片的时间看看书，我想时间久了你自然能体会这样的好处。 美团技术团队甚至会奖励读完一些书本的人，很多公司都有自己的小图书馆，我觉得挺好的。 文章来自：敖丙

struct 模块可被用来编码/解码几乎所有类型的二进制的数据结构。为了解释清楚这种数据，假设你用下面的Python数据结构 来表示一个组成一系列多边形的点的集合： polys = [ [ (1.0, 2.5), (3.5, 4.0), (2.5, 1.5) ], [ (7.0, 1.2), (5.1, 3.0), (0.5, 7.5), (0.8, 9.0) ], [ (3.4, 6.3), (1.2, 0.5), (4.6, 9.2) ], ] 现在假设这个数据被编码到一个以下列头部开始的二进制文件中去了： +------+--------+------------------------------------+ |Byte | Type | Description | +======+========+====================================+ |0 | int | 文件代码（0x1234，小端） | +------+--------+------------------------------------+ |4 | double | x 的最小值（小端） | +------+--------+------------------------------------+ |12 | double | y 的最小值（小端） | +------+--------+------------------------------------+ |20 | double | x 的最大值（小端） | +------+--------+------------------------------------+ |28 | double | y 的最大值（小端） | +------+--------+------------------------------------+ |36 | int | 三角形数量（小端） | +------+--------+------------------------------------+ 紧跟着头部是一系列的多边形记录，编码格式如下： +------+--------+-------------------------------------------+ |Byte | Type | Description | +======+========+===========================================+ |0 | int | 记录长度（N字节） | +------+--------+-------------------------------------------+ |4-N | Points | (X,Y) 坐标，以浮点数表示 | +------+--------+-------------------------------------------+ 为了写这样的文件，你可以使用如下的Python代码： import struct import itertools def write_polys(filename, polys): # Determine bounding box flattened = list(itertools.chain(*polys)) min_x = min(x for x, y in flattened) max_x = max(x for x, y in flattened) min_y = min(y for x, y in flattened) max_y = max(y for x, y in flattened) with open(filename, 'wb') as f: f.write(struct.pack('<iddddi', 0x1234, min_x, min_y, max_x, max_y, len(polys))) for poly in polys: size = len(poly) * struct.calcsize('<dd') f.write(struct.pack('<i', size + 4)) for pt in poly: f.write(struct.pack('<dd', *pt)) 将数据读取回来的时候，可以利用函数 struct.unpack() ，代码很相似，基本就是上面写操作的逆序。如下： def read_polys(filename): with open(filename, 'rb') as f: # Read the header header = f.read(40) file_code, min_x, min_y, max_x, max_y, num_polys = \ struct.unpack('<iddddi', header) polys = [] for n in range(num_polys): pbytes, = struct.unpack('<i', f.read(4)) poly = [] for m in range(pbytes // 16): pt = struct.unpack('<dd', f.read(16)) poly.append(pt) polys.append(poly) return polys 尽管这个代码可以工作，但是里面混杂了很多读取、解包数据结构和其他细节的代码。如果用这样的代码来处理真实的数据文件， 那未免也太繁杂了点。因此很显然应该有另一种解决方法可以简化这些步骤，让程序员只关注自最重要的事情。 在本小节接下来的部分，我会逐步演示一个更加优秀的解析字节数据的方案。 目标是可以给程序员提供一个高级的文件格式化方法，并简化读取和解包数据的细节。但是我要先提醒你， 本小节接下来的部分代码应该是整本书中最复杂最高级的例子，使用了大量的面向对象编程和元编程技术。 一定要仔细的阅读我们的讨论部分，另外也要参考下其他章节内容。 首先，当读取字节数据的时候，通常在文件开始部分会包含文件头和其他的数据结构。 尽管struct模块可以解包这些数据到一个元组中去，另外一种表示这种信息的方式就是使用一个类。 就像下面这样： import struct class StructField: ''' Descriptor representing a simple structure field ''' def __init__(self, format, offset): self.format = format self.offset = offset def __get__(self, instance, cls): if instance is None: return self else: r = struct.unpack_from(self.format, instance._buffer, self.offset) return r[0] if len(r) == 1 else r class Structure: def __init__(self, bytedata): self._buffer = memoryview(bytedata) 这里我们使用了一个描述器来表示每个结构字段，每个描述器包含一个结构兼容格式的代码以及一个字节偏移量， 存储在内部的内存缓冲中。在 __get__() 方法中，struct.unpack_from() 函数被用来从缓冲中解包一个值，省去了额外的分片或复制操作步骤。 Structure 类就是一个基础类，接受字节数据并存储在内部的内存缓冲中，并被 StructField 描述器使用。 这里使用了 memoryview() ，我们会在后面详细讲解它是用来干嘛的。 使用这个代码，你现在就能定义一个高层次的结构对象来表示上面表格信息所期望的文件格式。例如： class PolyHeader(Structure): file_code = StructField('<i', 0) min_x = StructField('<d', 4) min_y = StructField('<d', 12) max_x = StructField('<d', 20) max_y = StructField('<d', 28) num_polys = StructField('<i', 36) 下面的例子利用这个类来读取之前我们写入的多边形数据的头部数据： >>> f = open('polys.bin', 'rb') >>> phead = PolyHeader(f.read(40)) >>> phead.file_code == 0x1234 True >>> phead.min_x 0.5 >>> phead.min_y 0.5 >>> phead.max_x 7.0 >>> phead.max_y 9.2 >>> phead.num_polys 3 >>> 这个很有趣，不过这种方式还是有一些烦人的地方。首先，尽管你获得了一个类接口的便利， 但是这个代码还是有点臃肿，还需要使用者指定很多底层的细节(比如重复使用 StructField ，指定偏移量等)。 另外，返回的结果类同样确实一些便利的方法来计算结构的总数。 任何时候只要你遇到了像这样冗余的类定义，你应该考虑下使用类装饰器或元类。 元类有一个特性就是它能够被用来填充许多低层的实现细节，从而释放使用者的负担。 下面我来举个例子，使用元类稍微改造下我们的 Structure 类： class StructureMeta(type): ''' Metaclass that automatically creates StructField descriptors ''' def __init__(self, clsname, bases, clsdict): fields = getattr(self, '_fields_', []) byte_order = '' offset = 0 for format, fieldname in fields: if format.startswith(('<','>','!','@')): byte_order = format[0] format = format[1:] format = byte_order + format setattr(self, fieldname, StructField(format, offset)) offset += struct.calcsize(format) setattr(self, 'struct_size', offset) class Structure(metaclass=StructureMeta): def __init__(self, bytedata): self._buffer = bytedata @classmethod def from_file(cls, f): return cls(f.read(cls.struct_size)) 使用新的 Structure 类，你可以像下面这样定义一个结构： class PolyHeader(Structure): _fields_ = [ ('<i', 'file_code'), ('d', 'min_x'), ('d', 'min_y'), ('d', 'max_x'), ('d', 'max_y'), ('i', 'num_polys') ] 正如你所见，这样写就简单多了。我们添加的类方法 from_file() 让我们在不需要知道任何数据的大小和结构的情况下就能轻松的从文件中读取数据。比如： >>> f = open('polys.bin', 'rb') >>> phead = PolyHeader.from_file(f) >>> phead.file_code == 0x1234 True >>> phead.min_x 0.5 >>> phead.min_y 0.5 >>> phead.max_x 7.0 >>> phead.max_y 9.2 >>> phead.num_polys 3 >>> 一旦你开始使用了元类，你就可以让它变得更加智能。例如，假设你还想支持嵌套的字节结构， 下面是对前面元类的一个小的改进，提供了一个新的辅助描述器来达到想要的效果： class NestedStruct: ''' Descriptor representing a nested structure ''' def __init__(self, name, struct_type, offset): self.name = name self.struct_type = struct_type self.offset = offset def __get__(self, instance, cls): if instance is None: return self else: data = instance._buffer[self.offset: self.offset+self.struct_type.struct_size] result = self.struct_type(data) # Save resulting structure back on instance to avoid # further recomputation of this step setattr(instance, self.name, result) return result class StructureMeta(type): ''' Metaclass that automatically creates StructField descriptors ''' def __init__(self, clsname, bases, clsdict): fields = getattr(self, '_fields_', []) byte_order = '' offset = 0 for format, fieldname in fields: if isinstance(format, StructureMeta): setattr(self, fieldname, NestedStruct(fieldname, format, offset)) offset += format.struct_size else: if format.startswith(('<','>','!','@')): byte_order = format[0] format = format[1:] format = byte_order + format setattr(self, fieldname, StructField(format, offset)) offset += struct.calcsize(format) setattr(self, 'struct_size', offset) 在这段代码中，NestedStruct 描述器被用来叠加另外一个定义在某个内存区域上的结构。 它通过将原始内存缓冲进行切片操作后实例化给定的结构类型。由于底层的内存缓冲区是通过一个内存视图初始化的， 所以这种切片操作不会引发任何的额外的内存复制。相反，它仅仅就是之前的内存的一个叠加而已。 另外，为了防止重复实例化，通过使用和8.10小节同样的技术，描述器保存了该实例中的内部结构对象。 使用这个新的修正版，你就可以像下面这样编写： class Point(Structure): _fields_ = [ ('<d', 'x'), ('d', 'y') ] class PolyHeader(Structure): _fields_ = [ ('<i', 'file_code'), (Point, 'min'), # nested struct (Point, 'max'), # nested struct ('i', 'num_polys') ] 令人惊讶的是，它也能按照预期的正常工作，我们实际操作下： >>> f = open('polys.bin', 'rb') >>> phead = PolyHeader.from_file(f) >>> phead.file_code == 0x1234 True >>> phead.min # Nested structure <__main__.Point object at 0x1006a48d0> >>> phead.min.x 0.5 >>> phead.min.y 0.5 >>> phead.max.x 7.0 >>> phead.max.y 9.2 >>> phead.num_polys 3 >>> 到目前为止，一个处理定长记录的框架已经写好了。但是如果组件记录是变长的呢？ 比如，多边形文件包含变长的部分。 一种方案是写一个类来表示字节数据，同时写一个工具函数来通过多少方式解析内容。跟6.11小节的代码很类似： class SizedRecord: def __init__(self, bytedata): self._buffer = memoryview(bytedata) @classmethod def from_file(cls, f, size_fmt, includes_size=True): sz_nbytes = struct.calcsize(size_fmt) sz_bytes = f.read(sz_nbytes) sz, = struct.unpack(size_fmt, sz_bytes) buf = f.read(sz - includes_size * sz_nbytes) return cls(buf) def iter_as(self, code): if isinstance(code, str): s = struct.Struct(code) for off in range(0, len(self._buffer), s.size): yield s.unpack_from(self._buffer, off) elif isinstance(code, StructureMeta): size = code.struct_size for off in range(0, len(self._buffer), size): data = self._buffer[off:off+size] yield code(data) 类方法 SizedRecord.from_file() 是一个工具，用来从一个文件中读取带大小前缀的数据块， 这也是很多文件格式常用的方式。作为输入，它接受一个包含大小编码的结构格式编码，并且也是自己形式。 可选的 includes_size 参数指定了字节数是否包含头部大小。 下面是一个例子教你怎样使用从多边形文件中读取单独的多边形数据： >>> f = open('polys.bin', 'rb') >>> phead = PolyHeader.from_file(f) >>> phead.num_polys 3 >>> polydata = [ SizedRecord.from_file(f, '<i') ... for n in range(phead.num_polys) ] >>> polydata [<__main__.SizedRecord object at 0x1006a4d50>, <__main__.SizedRecord object at 0x1006a4f50>, <__main__.SizedRecord object at 0x10070da90>] >>> 可以看出，SizedRecord 实例的内容还没有被解析出来。 可以使用 iter_as() 方法来达到目的，这个方法接受一个结构格式化编码或者是 Structure 类作为输入。 这样子可以很灵活的去解析数据，例如： >>> for n, poly in enumerate(polydata): ... print('Polygon', n) ... for p in poly.iter_as('<dd'): ... print(p) ... Polygon 0 (1.0, 2.5) (3.5, 4.0) (2.5, 1.5) Polygon 1 (7.0, 1.2) (5.1, 3.0) (0.5, 7.5) (0.8, 9.0) Polygon 2 (3.4, 6.3) (1.2, 0.5) (4.6, 9.2) >>> >>> for n, poly in enumerate(polydata): ... print('Polygon', n) ... for p in poly.iter_as(Point): ... print(p.x, p.y) ... Polygon 0 1.0 2.5 3.5 4.0 2.5 1.5 Polygon 1 7.0 1.2 5.1 3.0 0.5 7.5 0.8 9.0 Polygon 2 3.4 6.3 1.2 0.5 4.6 9.2 >>> 将所有这些结合起来，下面是一个 read_polys() 函数的另外一个修正版： class Point(Structure): _fields_ = [ ('<d', 'x'), ('d', 'y') ] class PolyHeader(Structure): _fields_ = [ ('<i', 'file_code'), (Point, 'min'), (Point, 'max'), ('i', 'num_polys') ] def read_polys(filename): polys = [] with open(filename, 'rb') as f: phead = PolyHeader.from_file(f) for n in range(phead.num_polys): rec = SizedRecord.from_file(f, '<i') poly = [ (p.x, p.y) for p in rec.iter_as(Point) ] polys.append(poly) return polys

前言 这期我想写很久了，但是因为时间的原因一直拖到了现在，我以为一两天就写完了，结果从构思到整理资料，再到写出来用了差不多一周的时间吧。 你们也知道丙丙一直都是创作鬼才来的，所以我肯定不会一本正经的写，我想了好几个切入点，最后决定用一个完整的电商系统作为切入点，带着大家看看，我们需要学些啥，我甚至还收集配套视频和资料，暖男石锤啊，这期是呕心沥血之作，不要白嫖了。 正文 在写这个文章之前，我花了点时间，自己臆想了一个电商系统，基本上算是麻雀虽小五脏俱全，我今天就用它开刀，一步步剖析，我会讲一下我们可能会接触的技术栈可能不全，但是够用，最后给个学习路线。 Tip：请多欣赏一会，每个点看一下，看看什么地方是你接触过的，什么技术栈是你不太熟悉的，我觉得还算是比较全的，有什么建议也可以留言给我。 不知道大家都看了一下没，现在我们就要庖丁解牛了，我从上到下依次分析。 前端 你可能会会好奇，你不是讲后端学习路线嘛，为啥还有前端的部分，我只能告诉你，傻瓜，肤浅。 我们可不能闭门造车，谁告诉你后端就不学点前端了？ 前端现在很多也了解后端的技术栈的，你想我们去一个网站，最先接触的，最先看到的是啥？ 没错就是前端，在大学你要是找不到专门的前端同学，去做系统肯定也要自己顶一下前端的，那我觉得最基本的技术栈得熟悉和了解吧，丙丙现在也是偶尔会开发一下我们的管理系统主要是VUE和React。 在这里我列举了我目前觉得比较简单和我们后端可以了解的技术栈，都是比较基础的。 作为一名后端了解部分前端知识还是很有必要的，在以后开发的时候，公司有前端那能帮助你前后端联调更顺畅，如果没前端你自己也能顶一下简单的页面。 HTML、CSS、JS、Ajax我觉得是必须掌握的点，看着简单其实深究或者去操作的话还是有很多东西的，其他作为扩展有兴趣可以了解，反正入门简单，只是精通很难很难。 在这一层不光有这些还有Http协议和Servlet，request、response、cookie、session这些也会伴随你整个技术生涯，理解他们对后面的你肯定有不少好处。 Tip：我这里最后删除了JSP相关的技术，我个人觉得没必要学了，很多公司除了老项目之外，新项目都不会使用那些技术了。 前端在我看来比后端难，技术迭代比较快，知识好像也没特定的体系，所以面试大厂的前端很多朋友都说难，不是技术多难，而是知识多且复杂，找不到一个完整的体系，相比之下后端明朗很多，我后面就开始讲后端了。 网关层： 互联网发展到现在，涌现了很多互联网公司，技术更新迭代了很多个版本，从早期的单机时代，到现在超大规模的互联网时代，几亿人参与的春运，几千亿成交规模的双十一，无数互联网前辈的造就了现在互联网的辉煌。 微服务，分布式，负载均衡等我们经常提到的这些名词都是这些技术在场景背后支撑。 单机顶不住，我们就多找点服务器，但是怎么将流量均匀的打到这些服务器上呢？ 负载均衡，LVS 我们机器都是IP访问的，那怎么通过我们申请的域名去请求到服务器呢？ DNS 大家刷的抖音，B站，快手等等视频服务商，是怎么保证同时为全国的用户提供快速的体验？ CDN 我们这么多系统和服务，还有这么多中间件的调度怎么去管理调度等等？ zk 这么多的服务器，怎么对外统一访问呢，就可能需要知道反向代理的服务器。 Nginx 这一层做了反向负载、服务路由、服务治理、流量管理、安全隔离、服务容错等等都做了，大家公司的内外网隔离也是这一层做的。 我之前还接触过一些比较有意思的项目，所有对外的接口都是加密的，几十个服务会经过网关解密，找到真的路由再去请求。 这一层的知识点其实也不少，你往后面学会发现分布式事务，分布式锁，还有很多中间件都离不开zk这一层，我们继续往下看。 服务层： 这一层有点东西了，算是整个框架的核心，如果你跟我帅丙一样以后都是从事后端开发的话，我们基本上整个技术生涯，大部分时间都在跟这一层的技术栈打交道了，各种琳琅满目的中间件，计算机基础知识，Linux操作，算法数据结构，架构框架，研发工具等等。 我想在看这个文章的各位，计算机基础肯定都是学过的吧，如果大学的时候没好好学，我觉得还是有必要再看看的。 为什么我们网页能保证安全可靠的传输，你可能会了解到HTTP，TCP协议，什么三次握手，四次挥手。 还有进程、线程、协程，什么内存屏障，指令乱序，分支预测，CPU亲和性等等，在之后的编程生涯，如果你能掌握这些东西，会让你在遇到很多问题的时候瞬间get到点，而不是像个无头苍蝇一样乱撞（然而丙丙还做得不够）。 了解这些计算机知识后，你就需要接触编程语言了，大学的C语言基础会让你学什么语言入门都会快点，我选择了面向对象的JAVA，但是也不知道为啥现在还没对象。 JAVA的基础也一样重要，面向对象（包括类、对象、方法、继承、封装、抽象、 多态、消息解析等），常见API，数据结构，集合框架，设计模式（包括创建型、结构型、行为型），多线程和并发，I/O流，Stream，网络编程你都需要了解。 代码会写了，你就要开始学习一些能帮助你把系统变得更加规范的框架，SSM可以会让你的开发更加便捷，结构层次更加分明。 写代码的时候你会发现你大学用的Eclipse在公司看不到了，你跟大家一样去用了IDEA，第一天这是什么玩意，一周后，真香，但是这玩意收费有点贵，那免费的VSCode真的就是不错的选择了。 代码写的时候你会接触代码的仓库管理工具maven、Gradle，提交代码的时候会去写项目版本管理工具Git。 代码提交之后，发布之后你会发现很多东西需要自己去服务器亲自排查，那Linux的知识点就可以在里面灵活运用了，查看进程，查看文件，各种Vim操作等等。 系统的优化很多地方没优化的空间了，你可能会尝试从算法，或者优化数据结构去优化，你看到了HashMap的源码，想去了解红黑树，然后在算法网上看到了二叉树搜索树和各种常见的算法问题，刷多了，你也能总结出精华所在，什么贪心，分治，动态规划等。 这么多个服务，你发现HTTP请求已经开始有点不满足你的需求了，你想开发更便捷，像访问本地服务一样访问远程服务，所以我们去了解了Dubbo，Spring cloud。 了解Dubbo的过程中，你发现了RPC的精华所在，所以你去接触到了高性能的NIO框架，Netty。 代码写好了，服务也能通信了，但是你发现你的代码链路好长，都耦合在一起了，所以你接触了消息队列，这种异步的处理方式，真香。 他还可以帮你在突发流量的时候用队列做缓冲，但是你发现分布式的情况，事务就不好管理了，你就了解到了分布式事务，什么两段式，三段式，TCC，XA，阿里云的全局事务服务GTS等等。 分布式事务的时候你会想去了解RocketMQ，因为他自带了分布式事务的解决方案，大数据的场景你又看到了Kafka。 我上面提到过zk，像Dubbo、Kafka等中间件都是用它做注册中心的，所以很多技术栈最后都组成了一个知识体系，你先了解了体系中的每一员，你才能把它们联系起来。 服务的交互都从进程内通信变成了远程通信，所以性能必然会受到一些影响。 此外由于很多不确定性的因素，例如网络拥塞、Server 端服务器宕机、挖掘机铲断机房光纤等等，需要许多额外的功能和措施才能保证微服务流畅稳定的工作。 **Spring Cloud **中就有 Hystrix 熔断器、Ribbon客户端负载均衡器、Eureka注册中心等等都是用来解决这些问题的微服务组件。 你感觉学习得差不多了，你发现各大论坛博客出现了一些前沿技术，比如容器化，你可能就会去了解容器化的知识，像**Docker，Kubernetes（K8s）**等。 微服务之所以能够快速发展，很重要的一个原因就是：容器化技术的发展和容器管理系统的成熟。 这一层的东西呢其实远远不止这些的，我不过多赘述，写多了像个劝退师一样，但是大家也不用慌，大部分的技术都是慢慢接触了，工作中慢慢去了解，去深入的。 好啦我们继续沿着图往下看，那再往下是啥呢？ 数据层： 数据库可能是整个系统中最值钱的部分了，在我码文字的前一天，刚好发生了微盟程序员删库跑路的操作，删库跑路其实是我们在网上最常用的笑话，没想到还是照进了现实。 这里也提一点点吧，36小时的故障，其实在互联网公司应该是个笑话了吧，权限控制没做好类似rm -rf 、fdisk、drop等等这样的高危命令是可以实时拦截掉的，备份，全量备份，增量备份，延迟备份，异地容灾全部都考虑一下应该也不至于这样，一家上市公司还是有点点不应该。 数据库基本的事务隔离级别，索引，SQL，主被同步，读写分离等都可能是你学的时候要了解到的。 上面我们提到了安全，不要把鸡蛋放一个篮子的道理大家应该都知道，那分库的意义就很明显了，然后你会发现时间久了表的数据大了，就会想到去接触分表，什么TDDL、Sharding-JDBC、DRDS这些插件都会接触到。 你发现流量大的时候，或者热点数据打到数据库还是有点顶不住，压力太大了，那非关系型数据库就进场了，Redis当然是首选，但是MongoDB、memcache也有各自的应用场景。 Redis使用后，真香，真快，但是你会开始担心最开始提到的安全问题，这玩意快是因为在内存中操作，那断点了数据丢了怎么办？你就开始阅读官方文档，了解RDB，AOF这些持久化机制，线上用的时候还会遇到缓存雪崩击穿、穿透等等问题。 单机不满足你就用了，他的集群模式，用了集群可能也担心集群的健康状态，所以就得去了解哨兵，他的主从同步，时间久了Key多了，就得了解内存淘汰机制…… 他的大容量存储有问题，你可能需要去了解Pika…. 其实远远没完，每个的点我都点到为止，但是其实要深究每个点都要学很久，我们接着往下看。 实时/离线/大数据 等你把几种关系型非关系型数据库的知识点，整理清楚后，你会发现数据还是大啊，而且数据的场景越来越多多样化了，那大数据的各种中间件你就得了解了。 你会发现很多场景，不需要实时的数据，比如你查你的支付宝去年的，上个月的账单，这些都是不会变化的数据，没必要实时，那你可能会接触像ODPS这样的中间件去做数据的离线分析。 然后你可能会接触Hadoop系列相关的东西，比如于Hadoop（HDFS）的一个数据仓库工具Hive，是建立在 Hadoop 文件系统之上的分布式面向列的数据库HBase 。 写多的场景，适合做一些简单查询，用他们又有点大材小用，那Cassandra就再合适不过了。 离线的数据分析没办法满足一些实时的常见，类似风控，那Flink你也得略知一二，他的窗口思想还是很有意思。 数据接触完了，计算引擎Spark你是不是也不能放过…… 搜索引擎： 传统关系型数据库和NoSQL非关系型数据都没办法解决一些问题，比如我们在百度，淘宝搜索东西的时候，往往都是几个关键字在一起一起搜索东西的，在数据库除非把几次的结果做交集，不然很难去实现。 那全文检索引擎就诞生了，解决了搜索的问题，你得思考怎么把数据库的东西实时同步到ES中去，那你可能会思考到logstash去定时跑脚本同步，又或者去接触伪装成一台MySQL从服务的Canal，他会去订阅MySQL主服务的binlog，然后自己解析了去操作Es中的数据。 这些都搞定了，那可视化的后台查询又怎么解决呢？Kibana，他他是一个可视化的平台，甚至对Es集群的健康管理都做了可视化，很多公司的日志查询系统都是用它做的。 学习路线 看了这么久你是不是发现，帅丙只是一直在介绍每个层级的技术栈，并没说到具体的一个路线，那是因为我想让大家先有个认知或者说是扫盲吧，我一样用脑图的方式汇总一下吧，如果图片被平台二压了。 资料/学习网站 Tip：本来这一栏有很多我准备的资料的，但是都是外链，或者不合适的分享方式，博客的运营小姐姐提醒了我，所以大家去公众号回复【路线】好了。 絮叨 如果你想去一家不错的公司，但是目前的硬实力又不到，我觉得还是有必要去努力一下的，技术能力的高低能决定你走多远，平台的高低，能决定你的高度。 如果你通过努力成功进入到了心仪的公司，一定不要懈怠放松，职场成长和新技术学习一样，不进则退。 丙丙发现在工作中发现我身边的人真的就是实力越强的越努力，最高级的自律，享受孤独（周末的歪哥）。 总结 我提到的技术栈你想全部了解，我觉得初步了解可能几个月就够了，这里的了解仅限于你知道它，知道他是干嘛的，知道怎么去使用它，并不是说深入了解他的底层原理，了解他的常见问题，熟悉问题的解决方案等等。 你想做到后者，基本上只能靠时间上的日积月累，或者不断的去尝试积累经验，也没什么速成的东西，欲速则不达大家也是知道的。 技术这条路，说实话很枯燥，很辛苦，但是待遇也会高于其他一些基础岗位。 所实话我大学学这个就是为了兴趣，我从小对电子，对计算机都比较热爱，但是现在打磨得，现在就是为了钱吧，是不是很现实？若家境殷实，谁愿颠沛流离。 但是至少丙丙因为做软件，改变了家庭的窘境，自己日子也向小康一步步迈过去。 说做程序员改变了我和我家人的一生可能夸张了，但是我总有一种下班辈子会因为我选择走这条路而改变的错觉。 我是敖丙，一个在互联网苟且偷生的工具人。 创作不易，本期硬核，不想被白嫖，各位的「三连」就是丙丙创作的最大动力，我们下次见！ 本文 GitHub https://github.com/JavaFamily 已经收录，有大厂面试完整考点，欢迎Star。 该回答来自：敖丙

链表啊，结构体里放一个char来记录字母，一个int来计数，遍历字符串后排序输出。 ######谢谢额 我猜自己发现了错误，又改写了一下，现在已经成功了。######我尝试去这样做了，但是结果还是出错。有思路，但是还是比较复杂，代码写出来了出错。也不知道是哪里有问题.######有人能帮帮忙吗？######定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了######回复 @水晶之夜 : 输出的时候类型强制转换下，(char)c[0][0]。估计用指针数组也行，或者也可以用typedef定义一个struct，但这些具体怎么写语句我也不会，没怎么好好用过C，反正大体上应该是这么个意思。######这里有一个问题，你定义的数组是整形的还是字符型？你不可能一个放字符，一个放次数，它们是不同的数据类型。######Hash Table完美解决 ######什么是Hash Table?###### 引用来自“猎户座”的答案 链表啊，结构体里放一个char来记录字母，一个int来计数，遍历字符串后排序输出。 我自己又重新调试了一下，把代码稍稍改了一下。现在基本上可以了。 #define N 1024 void f12() { //输入一串字符以?结束 char str[N]; gets(str); //全部字母小写化 int i; for(i=0;str[i]!='\0';i++) { str[i]=tolower(str[i]); } //定义一个结构体来记录字符和次数 Info a[26]; for(i=0;i<26;i++) { a[i].letter=i+97; a[i].count=0; } //统计字符 for(i=0;str[i]!='\0';i++) { if(str[i]>='a'&&str[i]<='z') { a[str[i]-'a'].count++; } } //排序 int j; for(i=0;i<26;i++) { int k=i; for(j=0;j<25;j++) { if(a[j].count<a[j+1].count) { //交换 int t=a[j].count; a[j].count=a[j+1].count; a[j+1].count=t; char c = a[j].letter; a[j].letter=a[j+1].letter; a[j+1].letter=c; } } } //输出 for(i=0;i<26;i++) { if(a[i].count==0) continue; printf("%c %d\n",a[i].letter,a[i].count); } } ###### 引用来自“NealFeng”的答案 定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了 哈，你这个貌似多做事情了。题目是针对字母，没针对其他分类方法。那么就可以直接 int alpha[26]; void init_alpha(void){ int i; for (i = 0 ; i < 26 ; i ++ ) alpha[i] = 0; } #define _CHK_SET(a,min,max) do {if((a >= (min))&&(a <= (max))){alpha[a-min] += 1;}while (0) void set_alpha(char a){ _CHK_SET(a ,'A','Z'); _CHK_SET(a,'a','z'); } int max_num(void){ int re = alpha[0]; int i; for (i = 1 ; i< 26 ; i++) { if (alpha[i] > re) re = alpha[i]; } return re; } int print_max(void){ int i; int flag = 0; i = max_num(); if (alpha[i] == 0){ return 0; } printf(....); alpha[i] = 0; return 1; } 余下，就是初始化。然后读一个字符如果不是结束符，就掉用一次set_alpha,全部处理完就不停的调用print_max 直到返回为0. 哈， 原型设计不要考虑优化问题。逻辑清楚是关键。有什么好排序的。你排序的价值在于降低不必要的逻辑处理，但和目标逻辑没有关系。 ######有一点挺有意思的，确实，要求是打印出来，干嘛排序呢？###### 引用来自“中山野鬼”的答案 引用来自“NealFeng”的答案 定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了 哈，你这个貌似多做事情了。题目是针对字母，没针对其他分类方法。那么就可以直接 int alpha[26]; void init_alpha(void){ int i; for (i = 0 ; i < 26 ; i ++ ) alpha[i] = 0; } #define _CHK_SET(a,min,max) do {if((a >= (min))&&(a <= (max))){alpha[a-min] += 1;}while (0) void set_alpha(char a){ _CHK_SET(a ,'A','Z'); _CHK_SET(a,'a','z'); } int max_num(void){ int re = alpha[0]; int i; for (i = 1 ; i< 26 ; i++) { if (alpha[i] > re) re = alpha[i]; } return re; } int print_max(void){ int i; int flag = 0; i = max_num(); if (alpha[i] == 0){ return 0; } printf(....); alpha[i] = 0; return 1; } 余下，就是初始化。然后读一个字符如果不是结束符，就掉用一次set_alpha,全部处理完就不停的调用print_max 直到返回为0. 哈， 原型设计不要考虑优化问题。逻辑清楚是关键。有什么好排序的。你排序的价值在于降低不必要的逻辑处理，但和目标逻辑没有关系。 我测试了你一下你这个代码，还有5个错误。不太理解。。 --------------------Configuration: temp - Win32 Debug-------------------- Compiling... temp.cpp d:\my files\c program\wow\temp\temp.cpp(25) : error C2062: type 'int' unexpected d:\my files\c program\wow\temp\temp.cpp(26) : error C2143: syntax error : missing ';' before '{' d:\my files\c program\wow\temp\temp.cpp(33) : error C2562: 'set_alpha' : 'void' function returning a value d:\my files\c program\wow\temp\temp.cpp(21) : see declaration of 'set_alpha' d:\my files\c program\wow\temp\temp.cpp(35) : error C2601: 'print_max' : local function definitions are illegal d:\my files\c program\wow\temp\temp.cpp(46) : fatal error C1004: unexpected end of file found Error executing cl.exe. temp.obj - 5 error(s), 0 warning(s) ###### 引用来自“中山野鬼”的答案 引用来自“NealFeng”的答案 定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了 哈，你这个貌似多做事情了。题目是针对字母，没针对其他分类方法。那么就可以直接 int alpha[26]; void init_alpha(void){ int i; for (i = 0 ; i < 26 ; i ++ ) alpha[i] = 0; } #define _CHK_SET(a,min,max) do {if((a >= (min))&&(a <= (max))){alpha[a-min] += 1;}while (0) void set_alpha(char a){ _CHK_SET(a ,'A','Z'); _CHK_SET(a,'a','z'); } int max_num(void){ int re = alpha[0]; int i; for (i = 1 ; i< 26 ; i++) { if (alpha[i] > re) re = alpha[i]; } return re; } int print_max(void){ int i; int flag = 0; i = max_num(); if (alpha[i] == 0){ return 0; } printf(....); alpha[i] = 0; return 1; } 余下，就是初始化。然后读一个字符如果不是结束符，就掉用一次set_alpha,全部处理完就不停的调用print_max 直到返回为0. 哈， 原型设计不要考虑优化问题。逻辑清楚是关键。有什么好排序的。你排序的价值在于降低不必要的逻辑处理，但和目标逻辑没有关系。 简洁、明了 ###### 引用来自“水晶之夜”的答案 引用来自“中山野鬼”的答案 引用来自“NealFeng”的答案 定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了 哈，你这个貌似多做事情了。题目是针对字母，没针对其他分类方法。那么就可以直接 int alpha[26]; void init_alpha(void){ int i; for (i = 0 ; i < 26 ; i ++ ) alpha[i] = 0; } #define _CHK_SET(a,min,max) do {if((a >= (min))&&(a <= (max))){alpha[a-min] += 1;}while (0) void set_alpha(char a){ _CHK_SET(a ,'A','Z'); _CHK_SET(a,'a','z'); } int max_num(void){ int re = alpha[0]; int i; for (i = 1 ; i< 26 ; i++) { if (alpha[i] > re) re = alpha[i]; } return re; } int print_max(void){ int i; int flag = 0; i = max_num(); if (alpha[i] == 0){ return 0; } printf(....); alpha[i] = 0; return 1; } 余下，就是初始化。然后读一个字符如果不是结束符，就掉用一次set_alpha,全部处理完就不停的调用print_max 直到返回为0. 哈， 原型设计不要考虑优化问题。逻辑清楚是关键。有什么好排序的。你排序的价值在于降低不必要的逻辑处理，但和目标逻辑没有关系。 我测试了你一下你这个代码，还有5个错误。不太理解。。 --------------------Configuration: temp - Win32 Debug-------------------- Compiling... temp.cpp d:\my files\c program\wow\temp\temp.cpp(25) : error C2062: type 'int' unexpected d:\my files\c program\wow\temp\temp.cpp(26) : error C2143: syntax error : missing ';' before '{' d:\my files\c program\wow\temp\temp.cpp(33) : error C2562: 'set_alpha' : 'void' function returning a value d:\my files\c program\wow\temp\temp.cpp(21) : see declaration of 'set_alpha' d:\my files\c program\wow\temp\temp.cpp(35) : error C2601: 'print_max' : local function definitions are illegal d:\my files\c program\wow\temp\temp.cpp(46) : fatal error C1004: unexpected end of file found Error executing cl.exe. temp.obj - 5 error(s), 0 warning(s) 他这个是 C语言写的，得用 C语言编译器。 把 .cpp 改成 .c 再试试。 还有 27 行 printf 里面加上你要输出的东西。 ###### 引用来自“水晶之夜”的答案 引用来自“中山野鬼”的答案 引用来自“NealFeng”的答案 定义个数组c=int[26][2]，c[0][0]='a',c[0][1]=次数，然后排序，然后输出，如果次数为0，则不输出，选个排序算法就行了 哈，你这个貌似多做事情了。题目是针对字母，没针对其他分类方法。那么就可以直接 int alpha[26]; void init_alpha(void){ int i; for (i = 0 ; i < 26 ; i ++ ) alpha[i] = 0; } #define _CHK_SET(a,min,max) do {if((a >= (min))&&(a <= (max))){alpha[a-min] += 1;}while (0) void set_alpha(char a){ _CHK_SET(a ,'A','Z'); _CHK_SET(a,'a','z'); } int max_num(void){ int re = alpha[0]; int i; for (i = 1 ; i< 26 ; i++) { if (alpha[i] > re) re = alpha[i]; } return re; } int print_max(void){ int i; int flag = 0; i = max_num(); if (alpha[i] == 0){ return 0; } printf(....); alpha[i] = 0; return 1; } 余下，就是初始化。然后读一个字符如果不是结束符，就掉用一次set_alpha,全部处理完就不停的调用print_max 直到返回为0. 哈， 原型设计不要考虑优化问题。逻辑清楚是关键。有什么好排序的。你排序的价值在于降低不必要的逻辑处理，但和目标逻辑没有关系。 我测试了你一下你这个代码，还有5个错误。不太理解。。 --------------------Configuration: temp - Win32 Debug-------------------- Compiling... temp.cpp d:\my files\c program\wow\temp\temp.cpp(25) : error C2062: type 'int' unexpected d:\my files\c program\wow\temp\temp.cpp(26) : error C2143: syntax error : missing ';' before '{' d:\my files\c program\wow\temp\temp.cpp(33) : error C2562: 'set_alpha' : 'void' function returning a value d:\my files\c program\wow\temp\temp.cpp(21) : see declaration of 'set_alpha' d:\my files\c program\wow\temp\temp.cpp(35) : error C2601: 'print_max' : local function definitions are illegal d:\my files\c program\wow\temp\temp.cpp(46) : fatal error C1004: unexpected end of file found Error executing cl.exe. temp.obj - 5 error(s), 0 warning(s) 这个也算代码？我的老天啊。。。无非是我想说明逻辑，用了语言来描述。。。。不能这么省事。又不是我的作业。哈。