组件处理干什么用的

连接点（Joinpoint）: 表示需要在程序中插入横切关注点的扩展点，连接点可能是类初始化、方法执行、方法调用、字段调用或处理异常等等，Spring只支持方法执行连接点；在AOP中表示为“在哪里干”；        切入点（Pointcut）: 选择一组相关连接点的模式，即可以认为连接点的集合，Spring支持perl5正则表达式和AspectJ切入点模式，Spring默认使用AspectJ语法；在AOP中表示为“在哪里干的集合”；        通知（Advice）: 在连接点上执行的行为，通知提供了在AOP中需要在切入点所选择的连接点处进行扩展现有行为的手段；包括前置通知（before advice）、后置通知(after advice)、环绕通知（around advice），在Spring中通过代理模式实现AOP，并通过拦截器模式以环绕连接点的拦截器链织入通知；在AOP中表示为“干什么”；        切面（Aspect）：横切关注点的模块化，比如日志组件。可以认为是通知、引入和切入点的组合；在Spring中可以使用Schema和@AspectJ方式进行组织实现；在AOP中表示为“在哪干和干什么集合”；        引入（Introduction）: 也称为内部类型声明，为已有的类添加额外新的字段或方法，Spring允许引入新的接口（必须对应一个实现）到所有被代理对象（目标对象）；在AOP中表示为“干什么（引入什么）”；        目标对象（Target Object）:需要被织入横切关注点的对象，即该对象是切入点选择的对象，需要被通知的对象，从而也可称为“被通知对象”；由于Spring AOP 通过代理模式实现，从而这个对象永远是被代理对象；在AOP中表示为“对谁干”；        AOP代理（AOP Proxy）: AOP框架使用代理模式创建的对象，从而实现在连接点处插入通知（即应用切面），就是通过代理来对目标对象应用切面。在Spring中，AOP代理可以用JDK动态代理或CGLIB代理实现，而通过拦截器模型应用切面。        织入（Weaving）: 织入是一个过程，是将切面应用到目标对象从而创建出AOP代理对象的过程，织入可以在编译期、类装载期、运行期进行。组装方面来创建一个被通知对象。这可以在编译时完成（例如使用AspectJ编译器），也可以在运行时完成。Spring和其他纯Java AOP框架一样，在运行时完成织入。

初识 MyBatis MyBatis 是第一个支持自定义 SQL、存储过程和高级映射的类持久框架。MyBatis 消除了大部分 JDBC 的样板代码、手动设置参数以及检索结果。MyBatis 能够支持简单的 XML 和注解配置规则。使 Map 接口和 POJO 类映射到数据库字段和记录。 MyBatis 的特点 那么 MyBatis 具有什么特点呢？或许我们可以从如下几个方面来描述 MyBatis 中的 SQL 语句和主要业务代码分离，我们一般会把 MyBatis 中的 SQL 语句统一放在 XML 配置文件中，便于统一维护。 解除 SQL 与程序代码的耦合，通过提供 DAO 层，将业务逻辑和数据访问逻辑分离，使系统的设计更清晰，更易维护，更易单元测试。SQL 和代码的分离，提高了可维护性。 MyBatis 比较简单和轻量 本身就很小且简单。没有任何第三方依赖，只要通过配置 jar 包，或者如果你使用 Maven 项目的话只需要配置 Maven 以来就可以。易于使用，通过文档和源代码，可以比较完全的掌握它的设计思路和实现。 屏蔽样板代码 MyBatis 回屏蔽原始的 JDBC 样板代码，让你把更多的精力专注于 SQL 的书写和属性-字段映射上。 编写原生 SQL，支持多表关联 MyBatis 最主要的特点就是你可以手动编写 SQL 语句，能够支持多表关联查询。 提供映射标签，支持对象与数据库的 ORM 字段关系映射 ORM 是什么？对象关系映射(Object Relational Mapping，简称ORM) ，是通过使用描述对象和数据库之间映射的元数据，将面向对象语言程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 提供 XML 标签，支持编写动态 SQL。 你可以使用 MyBatis XML 标签，起到 SQL 模版的效果，减少繁杂的 SQL 语句，便于维护。 MyBatis 整体架构 MyBatis 最上面是接口层，接口层就是开发人员在 Mapper 或者是 Dao 接口中的接口定义，是查询、新增、更新还是删除操作；中间层是数据处理层，主要是配置 Mapper -> XML 层级之间的参数映射，SQL 解析，SQL 执行，结果映射的过程。上述两种流程都由基础支持层来提供功能支撑，基础支持层包括连接管理，事务管理，配置加载，缓存处理等。 接口层 在不与Spring 集成的情况下，使用 MyBatis 执行数据库的操作主要如下： InputStream is = Resources.getResourceAsStream("myBatis-config.xml"); SqlSessionFactoryBuilder builder = new SqlSessionFactoryBuilder(); SqlSessionFactory factory = builder.build(is); sqlSession = factory.openSession(); 其中的SqlSessionFactory,SqlSession是 MyBatis 接口的核心类，尤其是 SqlSession，这个接口是MyBatis 中最重要的接口，这个接口能够让你执行命令，获取映射，管理事务。 数据处理层 配置解析 在 Mybatis 初始化过程中，会加载 mybatis-config.xml 配置文件、映射配置文件以及 Mapper 接口中的注解信息，解析后的配置信息会形成相应的对象并保存到 Configration 对象中。之后，根据该对象创建SqlSessionFactory 对象。待 Mybatis 初始化完成后，可以通过 SqlSessionFactory 创建 SqlSession 对象并开始数据库操作。 SQL 解析与 scripting 模块 Mybatis 实现的动态 SQL 语句，几乎可以编写出所有满足需要的 SQL。 Mybatis 中 scripting 模块会根据用户传入的参数，解析映射文件中定义的动态 SQL 节点，形成数据库能执行的SQL 语句。 SQL 执行 SQL 语句的执行涉及多个组件，包括 MyBatis 的四大核心，它们是: Executor、StatementHandler、ParameterHandler、ResultSetHandler。SQL 的执行过程可以用下面这幅图来表示 MyBatis 层级结构各个组件的介绍(这里只是简单介绍，具体介绍在后面)： SqlSession： ，它是 MyBatis 核心 API，主要用来执行命令，获取映射，管理事务。接收开发人员提供 Statement Id 和参数。并返回操作结果。Executor ：执行器，是 MyBatis 调度的核心，负责 SQL 语句的生成以及查询缓存的维护。StatementHandler : 封装了JDBC Statement 操作，负责对 JDBC Statement 的操作，如设置参数、将Statement 结果集转换成 List 集合。ParameterHandler : 负责对用户传递的参数转换成 JDBC Statement 所需要的参数。ResultSetHandler : 负责将 JDBC 返回的 ResultSet 结果集对象转换成 List 类型的集合。TypeHandler : 用于 Java 类型和 JDBC 类型之间的转换。MappedStatement : 动态 SQL 的封装SqlSource : 表示从 XML 文件或注释读取的映射语句的内容，它创建将从用户接收的输入参数传递给数据库的 SQL。Configuration: MyBatis 所有的配置信息都维持在 Configuration 对象之中。 基础支持层 反射模块 Mybatis 中的反射模块，对 Java 反射进行了很好的封装，提供了简易的 API，方便上层调用，并且对反射操作进行了一系列的优化，比如，缓存了类的 元数据（MetaClass）和对象的元数据（MetaObject），提高了反射操作的性能。 类型转换模块 Mybatis 的别名机制，能够简化配置文件，该机制是类型转换模块的主要功能之一。类型转换模块的另一个功能是实现 JDBC 类型与 Java 类型的转换。在 SQL 语句绑定参数时，会将数据由 Java 类型转换成 JDBC 类型；在映射结果集时，会将数据由 JDBC 类型转换成 Java 类型。 日志模块 在 Java 中，有很多优秀的日志框架，如 Log4j、Log4j2、slf4j 等。Mybatis 除了提供了详细的日志输出信息，还能够集成多种日志框架，其日志模块的主要功能就是集成第三方日志框架。 资源加载模块 该模块主要封装了类加载器，确定了类加载器的使用顺序，并提供了加载类文件和其它资源文件的功能。 解析器模块 该模块有两个主要功能：一个是封装了 XPath，为 Mybatis 初始化时解析 mybatis-config.xml配置文件以及映射配置文件提供支持；另一个为处理动态 SQL 语句中的占位符提供支持。 数据源模块 Mybatis 自身提供了相应的数据源实现，也提供了与第三方数据源集成的接口。数据源是开发中的常用组件之一，很多开源的数据源都提供了丰富的功能，如连接池、检测连接状态等，选择性能优秀的数据源组件，对于提供ORM 框架以及整个应用的性能都是非常重要的。 事务管理模块 一般地，Mybatis 与 Spring 框架集成，由 Spring 框架管理事务。但 Mybatis 自身对数据库事务进行了抽象，提供了相应的事务接口和简单实现。 缓存模块 Mybatis 中有一级缓存和二级缓存，这两级缓存都依赖于缓存模块中的实现。但是需要注意，这两级缓存与Mybatis 以及整个应用是运行在同一个 JVM 中的，共享同一块内存，如果这两级缓存中的数据量较大，则可能影响系统中其它功能，所以需要缓存大量数据时，优先考虑使用 Redis、Memcache 等缓存产品。 Binding 模块 在调用 SqlSession 相应方法执行数据库操作时，需要制定映射文件中定义的 SQL 节点，如果 SQL 中出现了拼写错误，那就只能在运行时才能发现。为了能尽早发现这种错误，Mybatis 通过 Binding 模块将用户自定义的Mapper 接口与映射文件关联起来，系统可以通过调用自定义 Mapper 接口中的方法执行相应的 SQL 语句完成数据库操作，从而避免上述问题。注意，在开发中，我们只是创建了 Mapper 接口，而并没有编写实现类，这是因为 Mybatis 自动为 Mapper 接口创建了动态代理对象。 MyBatis 核心组件 在认识了 MyBatis 并了解其基础架构之后，下面我们来看一下 MyBatis 的核心组件，就是这些组件实现了从 SQL 语句到映射到 JDBC 再到数据库字段之间的转换，执行 SQL 语句并输出结果集。首先来认识 MyBatis 的第一个核心组件 SqlSessionFactory 对于任何框架而言，在使用该框架之前都要经历过一系列的初始化流程，MyBatis 也不例外。MyBatis 的初始化流程如下 String resource = "org/mybatis/example/mybatis-config.xml"; InputStream inputStream = Resources.getResourceAsStream(resource); SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); sqlSessionFactory.openSession(); 上述流程中比较重要的一个对象就是SqlSessionFactory，SqlSessionFactory 是 MyBatis 框架中的一个接口，它主要负责的是 MyBatis 框架初始化操作 为开发人员提供SqlSession 对象 SqlSessionFactory 有两个实现类，一个是 SqlSessionManager 类，一个是 DefaultSqlSessionFactory 类 DefaultSqlSessionFactory : SqlSessionFactory 的默认实现类，是真正生产会话的工厂类，这个类的实例的生命周期是全局的，它只会在首次调用时生成一个实例（单例模式），就一直存在直到服务器关闭。 SqlSessionManager ： 已被废弃，原因大概是: SqlSessionManager 中需要维护一个自己的线程池，而使用MyBatis 更多的是要与 Spring 进行集成，并不会单独使用，所以维护自己的 ThreadLocal 并没有什么意义，所以 SqlSessionManager 已经不再使用。 ####SqlSessionFactory 的执行流程 下面来对 SqlSessionFactory 的执行流程来做一个分析 首先第一步是 SqlSessionFactory 的创建 SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(inputStream); 1 从这行代码入手，首先创建了一个 SqlSessionFactoryBuilder 工厂，这是一个建造者模式的设计思想，由 builder 建造者来创建 SqlSessionFactory 工厂 然后调用 SqlSessionFactoryBuilder 中的 build 方法传递一个InputStream 输入流，Inputstream 输入流中就是你传过来的配置文件 mybatis-config.xml，SqlSessionFactoryBuilder 根据传入的 InputStream 输入流和environment、properties属性创建一个XMLConfigBuilder对象。SqlSessionFactoryBuilder 对象调用XMLConfigBuilder 的parse()方法，流程如下。 XMLConfigBuilder 会解析/configuration标签，configuration 是 MyBatis 中最重要的一个标签，下面流程会介绍 Configuration 标签。 MyBatis 默认使用 XPath 来解析标签，关于 XPath 的使用，参见 https://www.w3school.com.cn/xpath/index.asp 在 parseConfiguration 方法中，会对各个在 /configuration 中的标签进行解析 重要配置 说一下这些标签都是什么意思吧 properties，外部属性，这些属性都是可外部配置且可动态替换的，既可以在典型的 Java 属性文件中配置，亦可通过 properties 元素的子元素来传递。 <properties> <property name="driver" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/test" /> <property name="username" value="root" /> <property name="password" value="root" /> </properties> 一般用来给 environment 标签中的 dataSource 赋值 <environment id="development"> <transactionManager type="JDBC" /> <dataSource type="POOLED"> <property name="driver" value="${driver}" /> <property name="url" value="${url}" /> <property name="username" value="${username}" /> <property name="password" value="${password}" /> </dataSource> </environment> 还可以通过外部属性进行配置，但是我们这篇文章以原理为主，不会介绍太多应用层面的操作。 settings ，MyBatis 中极其重要的配置，它们会改变 MyBatis 的运行时行为。 settings 中配置有很多，具体可以参考 https://mybatis.org/mybatis-3/zh/configuration.html#settings 详细了解。这里介绍几个平常使用过程中比较重要的配置 一般使用如下配置 <settings> <setting name="cacheEnabled" value="true"/> <setting name="lazyLoadingEnabled" value="true"/> </settings> typeAliases，类型别名，类型别名是为 Java 类型设置的一个名字。 它只和 XML 配置有关。 <typeAliases> <typeAlias alias="Blog" type="domain.blog.Blog"/> </typeAliases> 当这样配置时，Blog 可以用在任何使用 domain.blog.Blog 的地方。 typeHandlers，类型处理器，无论是 MyBatis 在预处理语句（PreparedStatement）中设置一个参数时，还是从结果集中取出一个值时， 都会用类型处理器将获取的值以合适的方式转换成 Java 类型。 在 org.apache.ibatis.type 包下有很多已经实现好的 TypeHandler，可以参考如下 你可以重写类型处理器或创建你自己的类型处理器来处理不支持的或非标准的类型。 具体做法为：实现 org.apache.ibatis.type.TypeHandler 接口， 或继承一个很方便的类 org.apache.ibatis.type.BaseTypeHandler， 然后可以选择性地将它映射到一个 JDBC 类型。 objectFactory，对象工厂，MyBatis 每次创建结果对象的新实例时，它都会使用一个对象工厂（ObjectFactory）实例来完成。默认的对象工厂需要做的仅仅是实例化目标类，要么通过默认构造方法，要么在参数映射存在的时候通过参数构造方法来实例化。如果想覆盖对象工厂的默认行为，则可以通过创建自己的对象工厂来实现。 public class ExampleObjectFactory extends DefaultObjectFactory { public Object create(Class type) { return super.create(type); } public Object create(Class type, List constructorArgTypes, List constructorArgs) { return super.create(type, constructorArgTypes, constructorArgs); } public void setProperties(Properties properties) { super.setProperties(properties); } public boolean isCollection(Class type) { return Collection.class.isAssignableFrom(type); } } 然后需要在 XML 中配置此对象工厂 <objectFactory type="org.mybatis.example.ExampleObjectFactory"> <property name="someProperty" value="100"/> </objectFactory> plugins，插件开发，插件开发是 MyBatis 设计人员给开发人员留给自行开发的接口，MyBatis 允许你在已映射语句执行过程中的某一点进行拦截调用。MyBatis 允许使用插件来拦截的方法调用包括：Executor、ParameterHandler、ResultSetHandler、StatementHandler 接口，这几个接口也是 MyBatis 中非常重要的接口，我们下面会详细介绍这几个接口。 environments，MyBatis 环境配置，MyBatis 可以配置成适应多种环境，这种机制有助于将 SQL 映射应用于多种数据库之中。例如，开发、测试和生产环境需要有不同的配置；或者想在具有相同 Schema 的多个生产数据库中 使用相同的 SQL 映射。 这里注意一点，虽然 environments 可以指定多个环境，但是 SqlSessionFactory 只能有一个，为了指定创建哪种环境，只要将它作为可选的参数传递给 SqlSessionFactoryBuilder 即可。 SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(reader, environment); SqlSessionFactory factory = new SqlSessionFactoryBuilder().build(reader, environment, properties); databaseIdProvider ，数据库厂商标示，MyBatis 可以根据不同的数据库厂商执行不同的语句，这种多厂商的支持是基于映射语句中的 databaseId 属性。 <databaseIdProvider type="DB_VENDOR"> <property name="SQL Server" value="sqlserver"/> <property name="DB2" value="db2"/> <property name="Oracle" value="oracle" /> </databaseIdProvider> mappers，映射器，这是告诉 MyBatis 去哪里找到这些 SQL 语句，mappers 映射配置有四种方式 上面的一个个属性都对应着一个解析方法，都是使用 XPath 把标签进行解析，解析完成后返回一个 DefaultSqlSessionFactory 对象，它是 SqlSessionFactory 的默认实现类。这就是 SqlSessionFactoryBuilder 的初始化流程，通过流程我们可以看到，初始化流程就是对一个个 /configuration 标签下子标签的解析过程。 SqlSession 在 MyBatis 初始化流程结束，也就是 SqlSessionFactoryBuilder -> SqlSessionFactory 的获取流程后，我们就可以通过 SqlSessionFactory 对象得到 SqlSession 然后执行 SQL 语句了。具体来看一下这个过程‘ 在 SqlSessionFactory.openSession 过程中我们可以看到，会调用到 DefaultSqlSessionFactory 中的 openSessionFromDataSource 方法，这个方法主要创建了两个与我们分析执行流程重要的对象，一个是 Executor 执行器对象，一个是 SqlSession 对象。执行器我们下面会说，现在来说一下 SqlSession 对象 SqlSession 对象是 MyBatis 中最重要的一个对象，这个接口能够让你执行命令，获取映射，管理事务。SqlSession 中定义了一系列模版方法，让你能够执行简单的 CRUD 操作，也可以通过 getMapper 获取 Mapper 层，执行自定义 SQL 语句，因为 SqlSession 在执行 SQL 语句之前是需要先开启一个会话，涉及到事务操作，所以还会有 commit、 rollback、close 等方法。这也是模版设计模式的一种应用。 MapperProxy MapperProxy 是 Mapper 映射 SQL 语句的关键对象，我们写的 Dao 层或者 Mapper 层都是通过 MapperProxy 来和对应的 SQL 语句进行绑定的。下面我们就来解释一下绑定过程 这就是 MyBatis 的核心绑定流程，我们可以看到 SqlSession 首先调用 getMapper 方法，我们刚才说到 SqlSession 是大哥级别的人物，只定义标准（有一句话是怎么说的来着，一流的企业做标准，二流的企业做品牌，三流的企业做产品）。 SqlSession 不愿意做的事情交给 Configuration 这个手下去做，但是 Configuration 也是有小弟的，它不愿意做的事情直接甩给小弟去做，这个小弟是谁呢？它就是 MapperRegistry，马上就到核心部分了。MapperRegistry 相当于项目经理，项目经理只从大面上把握项目进度，不需要知道手下的小弟是如何工作的，把任务完成了就好。最终真正干活的还是 MapperProxyFactory。看到这段代码 Proxy.newProxyInstance ，你是不是有一种恍然大悟的感觉，如果你没有的话，建议查阅一下动态代理的文章，这里推荐一篇 （https://www.jianshu.com/p/95970b089360） 也就是说，MyBatis 中 Mapper 和 SQL 语句的绑定正是通过动态代理来完成的。 通过动态代理，我们就可以方便的在 Dao 层或者 Mapper 层定义接口，实现自定义的增删改查操作了。那么具体的执行过程是怎么样呢？上面只是绑定过程，别着急，下面就来探讨一下 SQL 语句的执行过程。 MapperProxyFactory 会生成代理对象，这个对象就是 MapperProxy，最终会调用到 mapperMethod.execute 方法，execute 方法比较长，其实逻辑比较简单，就是判断是 插入、更新、删除 还是 查询 语句，其中如果是查询的话，还会判断返回值的类型，我们可以点进去看一下都是怎么设计的。 很多代码其实可以忽略，只看我标出来的重点就好了，我们可以看到，不管你前面经过多少道关卡处理，最终都逃不过 SqlSession 这个老大制定的标准。 我们以 selectList 为例，来看一下下面的执行过程。 这是 DefaultSqlSession 中 selectList 的代码，我们可以看到出现了 executor，这是什么呢？我们下面来解释。 Executor 还记得我们之前的流程中提到了 Executor(执行器) 这个概念吗？我们来回顾一下它第一次出现的位置。 由 Configuration 对象创建了一个 Executor 对象，这个 Executor 是干嘛的呢？下面我们就来认识一下 Executor 的继承结构 每一个 SqlSession 都会拥有一个 Executor 对象，这个对象负责增删改查的具体操作，我们可以简单的将它理解为 JDBC 中 Statement 的封装版。 也可以理解为 SQL 的执行引擎，要干活总得有一个发起人吧，可以把 Executor 理解为发起人的角色。 首先先从 Executor 的继承体系来认识一下 如上图所示，位于继承体系最顶层的是 Executor 执行器，它有两个实现类，分别是BaseExecutor和 CachingExecutor。 BaseExecutor 是一个抽象类，这种通过抽象的实现接口的方式是适配器设计模式之接口适配 的体现，是Executor 的默认实现，实现了大部分 Executor 接口定义的功能，降低了接口实现的难度。BaseExecutor 的子类有三个，分别是 SimpleExecutor、ReuseExecutor 和 BatchExecutor。 SimpleExecutor : 简单执行器，是 MyBatis 中默认使用的执行器，每执行一次 update 或 select，就开启一个Statement 对象，用完就直接关闭 Statement 对象(可以是 Statement 或者是 PreparedStatment 对象) ReuseExecutor : 可重用执行器，这里的重用指的是重复使用 Statement，它会在内部使用一个 Map 把创建的Statement 都缓存起来，每次执行 SQL 命令的时候，都会去判断是否存在基于该 SQL 的 Statement 对象，如果存在 Statement 对象并且对应的 connection 还没有关闭的情况下就继续使用之前的 Statement 对象，并将其缓存起来。因为每一个 SqlSession 都有一个新的 Executor 对象，所以我们缓存在 ReuseExecutor 上的 Statement作用域是同一个 SqlSession。 BatchExecutor : 批处理执行器，用于将多个 SQL 一次性输出到数据库 CachingExecutor: 缓存执行器，先从缓存中查询结果，如果存在就返回之前的结果；如果不存在，再委托给Executor delegate 去数据库中取，delegate 可以是上面任何一个执行器。 Executor 的创建和选择 我们上面提到 Executor 是由 Configuration 创建的，Configuration 会根据执行器的类型创建，如下 这一步就是执行器的创建过程，根据传入的 ExecutorType 类型来判断是哪种执行器，如果不指定 ExecutorType ，默认创建的是简单执行器。它的赋值可以通过两个地方进行赋值： 可以通过 标签来设置当前工程中所有的 SqlSession 对象使用默认的 Executor <settings> <!--取值范围 SIMPLE, REUSE, BATCH --> <setting name="defaultExecutorType" value="SIMPLE"/> </settings> 另外一种直接通过Java对方法赋值的方式 session = factory.openSession(ExecutorType.BATCH); Executor 的具体执行过程 Executor 中的大部分方法的调用链其实是差不多的，下面是深入源码分析执行过程，如果你没有时间或者暂时不想深入研究的话，给你下面的执行流程图作为参考。 我们紧跟着上面的 selectList 继续分析，它会调用到 executor.query 方法。 当有一个查询请求访问的时候，首先会经过 Executor 的实现类 CachingExecutor ，先从缓存中查询 SQL 是否是第一次执行，如果是第一次执行的话，那么就直接执行 SQL 语句，并创建缓存，如果第二次访问相同的 SQL 语句的话，那么就会直接从缓存中提取。 上面这段代码是从 selectList -> 从缓存中 query 的具体过程。可能你看到这里有些觉得类都是什么东西，我想鼓励你一下，把握重点，不用每段代码都看，从找到 SQL 的调用链路，其他代码想看的时候在看，看源码就是很容易发蒙，容易烦躁，但是切记一点，把握重点。 上面代码会判断缓存中是否有这条 SQL 语句的执行结果，如果没有的话，就再重新创建 Executor 执行器执行 SQL 语句，注意， list = doQuery 是真正执行 SQL 语句的过程，这个过程中会创建我们上面提到的三种执行器，这里我们使用的是简单执行器。 到这里，执行器所做的工作就完事了，Executor 会把后续的工作交给 StatementHandler 继续执行。下面我们来认识一下 StatementHandler 上面代码会判断缓存中是否有这条 SQL 语句的执行结果，如果没有的话，就再重新创建 Executor 执行器执行 SQL 语句，注意， list = doQuery 是真正执行 SQL 语句的过程，这个过程中会创建我们上面提到的三种执行器，这里我们使用的是简单执行器。 到这里，执行器所做的工作就完事了，Executor 会把后续的工作交给 StatementHandler 继续执行。下面我们来认识一下 StatementHandler StatementHandler 的继承结构 有没有感觉和 Executor 的继承体系很相似呢？最顶级接口是四大组件对象，分别有两个实现类 BaseStatementHandler 和 RoutingStatementHandler，BaseStatementHandler 有三个实现类, 他们分别是 SimpleStatementHandler、PreparedStatementHandler 和 CallableStatementHandler。 RoutingStatementHandler : RoutingStatementHandler 并没有对 Statement 对象进行使用，只是根据StatementType 来创建一个代理，代理的就是对应Handler的三种实现类。在MyBatis工作时,使用的StatementHandler 接口对象实际上就是 RoutingStatementHandler 对象。 BaseStatementHandler : 是 StatementHandler 接口的另一个实现类，它本身是一个抽象类，用于简化StatementHandler 接口实现的难度，属于适配器设计模式体现，它主要有三个实现类 SimpleStatementHandler: 管理 Statement 对象并向数据库中推送不需要预编译的SQL语句。PreparedStatementHandler: 管理 Statement 对象并向数据中推送需要预编译的SQL语句。CallableStatementHandler：管理 Statement 对象并调用数据库中的存储过程。 StatementHandler 的创建和源码分析 我们继续来分析上面 query 的调用链路，StatementHandler 的创建过程如下 MyBatis 会根据 SQL 语句的类型进行对应 StatementHandler 的创建。我们以预处理 StatementHandler 为例来讲解一下 执行器不仅掌管着 StatementHandler 的创建，还掌管着创建 Statement 对象，设置参数等，在创建完 PreparedStatement 之后，我们需要对参数进行处理了。 如 如果用一副图来表示一下这个执行流程的话我想是这样 这里我们先暂停一下，来认识一下第三个核心组件 ParameterHandler ParameterHandler - ParameterHandler 介绍 ParameterHandler 相比于其他的组件就简单很多了，ParameterHandler 译为参数处理器，负责为 PreparedStatement 的 sql 语句参数动态赋值，这个接口很简单只有两个方法 ParameterHandler 只有一个实现类 DefaultParameterHandler ， 它实现了这两个方法。 getParameterObject： 用于读取参数setParameters: 用于对 PreparedStatement 的参数赋值ParameterHandler 的解析过程 上面我们讨论过了 ParameterHandler 的创建过程，下面我们继续上面 parameterSize 流程 这就是具体参数的解析过程了，下面我们来描述一下 下面用一个流程图表示一下 ParameterHandler 的解析过程，以简单执行器为例 我们在完成 ParameterHandler 对 SQL 参数的预处理后，回到 SimpleExecutor 中的 doQuery 方法 上面又引出来了一个重要的组件那就是 ResultSetHandler，下面我们来认识一下这个组件 ResultSetHandler - ResultSetHandler 简介 ResultSetHandler 也是一个非常简单的接口 ResultSetHandler 是一个接口，它只有一个默认的实现类，像是 ParameterHandler 一样，它的默认实现类是DefaultResultSetHandler ResultSetHandler 解析过程 MyBatis 只有一个默认的实现类就是 DefaultResultSetHandler，DefaultResultSetHandler 主要负责处理两件事 处理 Statement 执行后产生的结果集，生成结果列表 处理存储过程执行后的输出参数 按照 Mapper 文件中配置的 ResultType 或 ResultMap 来封装成对应的对象，最后将封装的对象返回即可。 其中涉及的主要对象有： ResultSetWrapper : 结果集的包装器，主要针对结果集进行的一层包装，它的主要属性有 ResultSet : Java JDBC ResultSet 接口表示数据库查询的结果。 有关查询的文本显示了如何将查询结果作为java.sql.ResultSet 返回。 然后迭代此ResultSet以检查结果。 TypeHandlerRegistry: 类型注册器，TypeHandlerRegistry 在初始化的时候会把所有的 Java类型和类型转换器进行注册。 ColumnNames: 字段的名称，也就是查询操作需要返回的字段名称 ClassNames: 字段的类型名称，也就是 ColumnNames 每个字段名称的类型 JdbcTypes: JDBC 的类型，也就是 java.sql.Types 类型 ResultMap: 负责处理更复杂的映射关系 在 DefaultResultSetHandler 中处理完结果映射，并把上述结构返回给调用的客户端，从而执行完成一条完整的SQL语句。 内容转载自：CSDN博主：cxuann 原文链接：https://blog.csdn.net/qq_36894974/article/details/104132876?depth_1-utm_source=distribute.pc_feed.none-task&request_id=&utm_source=distribute.pc_feed.none-task

我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apache spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。 不过因为好奇，我花费了数个星期在尝试了解flink。一开始仔细看了flink的几个例子，感觉和spark非常类似，心理就倾向于认为flink又是一个模仿spark的框架。但是随着了解的深入，这些API体现了一些flink的新奇的思路，这些思路还是和spark有着比较明显的区别的。我对这些思路有些着迷了，所以花费了更多的时间在这上面。 flink中的很多思路，例如内存管理，dataset API都已经出现在spark中并且已经证明 这些思路是非常靠谱的。所以，深入了解flink也许可以帮助我们分布式数据处理的未来之路是怎样的 在后面的文章里，我会把自己作为一个spark开发者对flink的第一感受写出来。因为我已经在spark上干了2年多了，但是只在flink上接触了2到3周，所以必然存在一些bias，所以大家也带着怀疑和批判的角度来看这篇文章吧。 Apache Flink是什么 flink是一款新的大数据处理引擎，目标是统一不同来源的数据处理。这个目标看起来和spark和类似。没错，flink也在尝试解决spark在解决的问题。这两套系统都在尝试建立一个统一的平台可以运行批量，流式，交互式，图处理，机器学习等应用。所以，flink和spark的目标差别并不大，他们最主要的区别在于实现的细节。 后面我会重点从不同的角度对比这两者。 Apache Spark vs Apache Flink 1.抽象 Abstraction spark中，对于批处理我们有RDD,对于流式，我们有DStream，不过内部实际还是RDD.所以所有的数据表示本质上还是RDD抽象。 后面我会重点从不同的角度对比这两者。在flink中，对于批处理有DataSet，对于流式我们有DataStreams。看起来和spark类似，他们的不同点在于： 一）DataSet在运行时是表现为运行计划(runtime plans)的 在spark中，RDD在运行时是表现为java objects的。通过引入Tungsten，这块有了些许的改变。但是在flink中是被表现为logical plan(逻辑计划)的，听起来很熟悉？没错，就是类似于spark中的dataframes。所以在flink中你使用的类Dataframe api是被作为第一优先级来优化的。但是相对来说在spark RDD中就没有了这块的优化了。 flink中的Dataset，对标spark中的Dataframe，在运行前会经过优化。 在spark 1.6，dataset API已经被引入spark了，也许最终会取代RDD 抽象。 二）Dataset和DataStream是独立的API 在spark中，所有不同的API，例如DStream，Dataframe都是基于RDD抽象的。但是在flink中，Dataset和DataStream是同一个公用的引擎之上两个独立的抽象。所以你不能把这两者的行为合并在一起操作，当然，flink社区目前在朝这个方向努力( https://issues.apache.org/jira/browse/FLINK-2320)，但是目前还不能轻易断言最后的结果。 2.内存管理 一直到1.5版本，spark都是试用java的内存管理来做数据缓存，明显很容易导致OOM或者gc。所以从1.5开始，spark开始转向精确的控制内存的使用，这就是tungsten项目了 flink从第一天开始就坚持自己控制内存试用。这个也是启发了spark走这条路的原因之一。flink除了把数据存在自己管理的内存以外，还直接操作二进制数据。在spark中，从1.5开始，所有的dataframe操作都是直接作用在tungsten的二进制数据上。 3.语言实现 spark是用scala来实现的，它提供了Java，Python和R的编程接口。 flink是java实现的，当然同样提供了Scala API 所以从语言的角度来看，spark要更丰富一些。因为我已经转移到scala很久了，所以不太清楚这两者的java api实现情况。 4.API spark和flink都在模仿scala的collection API.所以从表面看起来，两者都很类似。下面是分别用RDD和DataSet API实现的word count // Spark wordcount object WordCount { def main(args: Array[String]) { val env = new SparkContext("local","wordCount") val data = List("hi","how are you","hi") val dataSet = env.parallelize(data) val words = dataSet.flatMap(value => value.split("\\s+")) val mappedWords = words.map(value => (value,1)) val sum = mappedWords.reduceByKey(_+_) println(sum.collect()) } } // Flink wordcount object WordCount { def main(args: Array[String]) { val env = ExecutionEnvironment.getExecutionEnvironment val data = List("hi","how are you","hi") val dataSet = env.fromCollection(data) val words = dataSet.flatMap(value => value.split("\\s+")) val mappedWords = words.map(value => (value,1)) val grouped = mappedWords.groupBy(0) val sum = grouped.sum(1) println(sum.collect()) } } 不知道是偶然还是故意的，API都长得很像，这样很方便开发者从一个引擎切换到另外一个引擎。我感觉以后这种Collection API会成为写data pipeline的标配。 Steaming spark把streaming看成是更快的批处理，而flink把批处理看成streaming的special case。这里面的思路决定了各自的方向，其中两者的差异点有如下这些： 实时 vs 近实时的角度 flink提供了基于每个事件的流式处理机制，所以可以被认为是一个真正的流式计算。它非常像storm的model。 而spark，不是基于事件的粒度，而是用小批量来模拟流式，也就是多个事件的集合。所以spark被认为是近实时的处理系统。 Spark streaming 是更快的批处理，而Flink Batch是有限数据的流式计算。 虽然大部分应用对准实时是可以接受的，但是也还是有很多应用需要event level的流式计算。这些应用更愿意选择storm而非spark streaming，现在，flink也许是一个更好的选择。 流式计算和批处理计算的表示 spark对于批处理和流式计算，都是用的相同的抽象：RDD，这样很方便这两种计算合并起来表示。而flink这两者分为了DataSet和DataStream，相比spark，这个设计算是一个糟糕的设计。 对 windowing 的支持 因为spark的小批量机制，spark对于windowing的支持非常有限。只能基于process time，且只能对batches来做window。 而Flink对window的支持非常到位，且Flink对windowing API的支持是相当给力的，允许基于process time,data time,record 来做windowing。 我不太确定spark是否能引入这些API，不过到目前为止，Flink的windowing支持是要比spark好的。 Steaming这部分flink胜 SQL interface 目前spark-sql是spark里面最活跃的组件之一，Spark提供了类似Hive的sql和Dataframe这种DSL来查询结构化数据，API很成熟，在流式计算中使用很广，预计在流式计算中也会发展得很快。 至于flink，到目前为止，Flink Table API只支持类似DataFrame这种DSL，并且还是处于beta状态，社区有计划增加SQL 的interface，但是目前还不确定什么时候才能在框架中用上。 所以这个部分，spark胜出。 Data source Integration Spark的数据源 API是整个框架中最好的，支持的数据源包括NoSql db,parquet,ORC等，并且支持一些高级的操作，例如predicate push down Flink目前还依赖map/reduce InputFormat来做数据源聚合。 这一场spark胜 Iterative processing spark对机器学习的支持较好，因为可以在spark中利用内存cache来加速机器学习算法。 但是大部分机器学习算法其实是一个有环的数据流，但是在spark中，实际是用无环图来表示的，一般的分布式处理引擎都是不鼓励试用有环图的。 但是flink这里又有点不一样，flink支持在runtime中的有环数据流，这样表示机器学习算法更有效而且更有效率。 这一点flink胜出。 Stream as platform vs Batch as Platform Spark诞生在Map/Reduce的时代，数据都是以文件的形式保存在磁盘中，这样非常方便做容错处理。 Flink把纯流式数据计算引入大数据时代，无疑给业界带来了一股清新的空气。这个idea非常类似akka-streams这种。 成熟度 目前的确有一部分吃螃蟹的用户已经在生产环境中使用flink了，不过从我的眼光来看，Flink还在发展中，还需要时间来成熟。 结论 目前Spark相比Flink是一个更为成熟的计算框架，但是Flink的很多思路很不错，Spark社区也意识到了这一点，并且逐渐在采用Flink中的好的设计思路，所以学习一下Flink能让你了解一下Streaming这方面的更迷人的思路。 答案来源网络，供参考，希望对您有帮助

1 js 的基本数据类型? 2 JavaScript 有几种类型的值？ 3 什么是堆？什么是栈？它们之间有什么区别和联系？ 4 内部属性 [Class] 是什么？ 5 介绍 js 有哪些内置对象？ 6 undefined 与 undeclared 的区别？ 7 null 和 undefined 的区别？ 8 如何获取安全的 undefined 值？ 9 说几条写 JavaScript 的基本规范？ 10 JavaScript 原型，原型链？ 有什么特点？ 11 js 获取原型的方法？ 12 在 js 中不同进制数字的表示方式? 13 js 中整数的安全范围是多少？ 14 typeof NaN 的结果是什么？ 15 isNaN 和 Number.isNaN 函数的区别？ 16 Array 构造函数只有一个参数值时的表现？ 17 其他值到字符串的转换规则？ 18 其他值到数字值的转换规则？ 19 其他值到布尔类型的值的转换规则？ 20 {} 和 [] 的 valueOf 和 toString 的结果是什么？ 21 什么是假值对象？ 22 ~ 操作符的作用？ 23 解析字符串中的数字和将字符串强制类型转换为数字的返回结果都是数字，它们之间的区别是什么？ 24 + 操作符什么时候用于字符串的拼接？ 25 什么情况下会发生布尔值的隐式强制类型转换？ 26 || 和 && 操作符的返回值？ 27 Symbol 值的强制类型转换？ 28 == 操作符的强制类型转换规则？ 29 如何将字符串转化为数字，例如 '12.3b'? 30 如何将浮点数点左边的数每三位添加一个逗号，如 12000000.11 转化为『12,000,000.11』? 31 常用正则表达式？ 32 生成随机数的各种方法？ 33 如何实现数组的随机排序？ 34 javascript 创建对象的几种方式？ 35 JavaScript 继承的几种实现方式？ 36 寄生式组合继承的实现？ 37 Javascript 的作用域链？ 38 谈谈 This 对象的理解。 39 eval 是做什么的？ 40 什么是 DOM 和 BOM？ 41 写一个通用的事件侦听器函数。 42 事件是什么？IE 与火狐的事件机制有什么区别？ 如何阻止冒泡？ 43 三种事件模型是什么？ 44 事件委托是什么？ 45 ['1', '2', '3'].map(parseInt) 答案是多少？ 46 什么是闭包，为什么要用它？ 47 javascript 代码中的 'use strict'; 是什么意思 ? 使用它区别是什么？ 48 如何判断一个对象是否属于某个类？ 49 instanceof 的作用？ 50 new 操作符具体干了什么呢？如何实现？ 51 Javascript 中，有一个函数，执行时对象查找时，永远不会去查找原型，这个函数是？ 52 对于 JSON 的了解？ 53 [].forEach.call($$(''),function(a){a.style.outline='1px solid #'+(~~(Math.random()(1<<24))).toString(16)}) 能解释一下这段代码的意思吗？ 54 js 延迟加载的方式有哪些？ 55 Ajax 是什么? 如何创建一个 Ajax？ 56 谈一谈浏览器的缓存机制？ 57 Ajax 解决浏览器缓存问题？ 58 同步和异步的区别？ 59 什么是浏览器的同源政策？ 60 如何解决跨域问题？ 61 服务器代理转发时，该如何处理 cookie？ 62 简单谈一下 cookie ？ 63 模块化开发怎么做？ 64 js 的几种模块规范？ 65 AMD 和 CMD 规范的区别？ 66 ES6 模块与 CommonJS 模块、AMD、CMD 的差异。 67 requireJS 的核心原理是什么？（如何动态加载的？如何避免多次加载的？如何 缓存的？） 68 JS 模块加载器的轮子怎么造，也就是如何实现一个模块加载器？ 69 ECMAScript6 怎么写 class，为什么会出现 class 这种东西? 70 documen.write 和 innerHTML 的区别？ 71 DOM 操作——怎样添加、移除、移动、复制、创建和查找节点？ 72 innerHTML 与 outerHTML 的区别？ 73 .call() 和 .apply() 的区别？ 74 JavaScript 类数组对象的定义？ 75 数组和对象有哪些原生方法，列举一下？ 76 数组的 fill 方法？ 77 [,,,] 的长度？ 78 JavaScript 中的作用域与变量声明提升？ 79 如何编写高性能的 Javascript ？ 80 简单介绍一下 V8 引擎的垃圾回收机制 81 哪些操作会造成内存泄漏？ 82 需求：实现一个页面操作不会整页刷新的网站，并且能在浏览器前进、后退时正确响应。给出你的技术实现方案？ 83 如何判断当前脚本运行在浏览器还是 node 环境中？（阿里） 84 把 script 标签放在页面的最底部的 body 封闭之前和封闭之后有什么区别？浏览器会如何解析它们？ 85 移动端的点击事件的有延迟，时间是多久，为什么会有？ 怎么解决这个延时？ 86 什么是“前端路由”？什么时候适合使用“前端路由”？“前端路由”有哪些优点和缺点？ 87 如何测试前端代码么？ 知道 BDD, TDD, Unit Test 么？ 知道怎么测试你的前端工程么(mocha, sinon, jasmin, qUnit..)？ 88 检测浏览器版本版本有哪些方式？ 89 什么是 Polyfill ？ 90 使用 JS 实现获取文件扩展名？ 91 介绍一下 js 的节流与防抖？ 92 Object.is() 与原来的比较操作符 '==='、'==' 的区别？ 93 escape,encodeURI,encodeURIComponent 有什么区别？ 94 Unicode 和 UTF-8 之间的关系？ 95 js 的事件循环是什么？ 96 js 中的深浅拷贝实现？ 97 手写 call、apply 及 bind 函数 98 函数柯里化的实现 99 99. 为什么 0.1 + 0.2 != 0.3？如何解决这个问题？ 100 原码、反码和补码的介绍 101 toPrecision 和 toFixed 和 Math.round 的区别？ 102 什么是 XSS 攻击？如何防范 XSS 攻击？ 103 什么是 CSP？ 104 什么是 CSRF 攻击？如何防范 CSRF 攻击？ 105 什么是 Samesite Cookie 属性？ 106 什么是点击劫持？如何防范点击劫持？ 107 SQL 注入攻击？ 108 什么是 MVVM？比之 MVC 有什么区别？什么又是 MVP ？ 109 vue 双向数据绑定原理？ 110 Object.defineProperty 介绍？ 111 使用 Object.defineProperty() 来进行数据劫持有什么缺点？ 112 什么是 Virtual DOM？为什么 Virtual DOM 比原生 DOM 快？ 113 如何比较两个 DOM 树的差异？ 114 什么是 requestAnimationFrame ？ 115 谈谈你对 webpack 的看法 116 offsetWidth/offsetHeight,clientWidth/clientHeight 与 scrollWidth/scrollHeight 的区别？ 117 谈一谈你理解的函数式编程？ 118 异步编程的实现方式？ 119 Js 动画与 CSS 动画区别及相应实现 120 get 请求传参长度的误区 121 URL 和 URI 的区别？ 122 get 和 post 请求在缓存方面的区别 123 图片的懒加载和预加载 124 mouseover 和 mouseenter 的区别？ 125 js 拖拽功能的实现 126 为什么使用 setTimeout 实现 setInterval？怎么模拟？ 127 let 和 const 的注意点？ 128 什么是 rest 参数？ 129 什么是尾调用，使用尾调用有什么好处？ 130 Symbol 类型的注意点？ 131 Set 和 WeakSet 结构？ 132 Map 和 WeakMap 结构？ 133 什么是 Proxy ？ 134 Reflect 对象创建目的？ 135 require 模块引入的查找方式？ 136 什么是 Promise 对象，什么是 Promises/A+ 规范？ 137 手写一个 Promise 138 如何检测浏览器所支持的最小字体大小？ 139 怎么做 JS 代码 Error 统计？ 140 单例模式模式是什么？ 141 策略模式是什么？ 142 代理模式是什么？ 143 中介者模式是什么？ 144 适配器模式是什么？ 145 观察者模式和发布订阅模式有什么不同？ 146 Vue 的生命周期是什么？ 147 Vue 的各个生命阶段是什么？ 148 Vue 组件间的参数传递方式？ 149 computed 和 watch 的差异？ 150 vue-router 中的导航钩子函数 151 两个router 的区别？ 152 vue 常用的修饰符？ 153 computed 和 watch 区别？ 154 keep-alive 组件有什么作用？ 155 vue 中 mixin 和 mixins 区别？ 156 开发中常用的几种 Content-Type ？ 157 如何封装一个 javascript 的类型判断函数？ 158 如何判断一个对象是否为空对象？ 159 使用闭包实现每隔一秒打印 1,2,3,4 160 手写一个 jsonp 161 手写一个观察者模式？ 162 EventEmitter 实现 163 一道常被人轻视的前端 JS 面试题 164 如何确定页面的可用性时间，什么是 Performance API？ 165 js 中的命名规则 166 js 语句末尾分号是否可以省略？ 167 Object.assign() 168 Math.ceil 和 Math.floor 169 js for 循环注意点 170 一个列表，假设有 100000 个数据，这个该怎么办？ 171 js 中倒计时的纠偏实现？ 172 进程间通信的方式？ 173 如何查找一篇英文文章中出现频率最高的单词？ 174 174道 JavaScript 面试题,合集

前言 这期我想写很久了，但是因为时间的原因一直拖到了现在，我以为一两天就写完了，结果从构思到整理资料，再到写出来用了差不多一周的时间吧。 你们也知道丙丙一直都是创作鬼才来的，所以我肯定不会一本正经的写，我想了好几个切入点，最后决定用一个完整的电商系统作为切入点，带着大家看看，我们需要学些啥，我甚至还收集配套视频和资料，暖男石锤啊，这期是呕心沥血之作，不要白嫖了。 正文 在写这个文章之前，我花了点时间，自己臆想了一个电商系统，基本上算是麻雀虽小五脏俱全，我今天就用它开刀，一步步剖析，我会讲一下我们可能会接触的技术栈可能不全，但是够用，最后给个学习路线。 Tip：请多欣赏一会，每个点看一下，看看什么地方是你接触过的，什么技术栈是你不太熟悉的，我觉得还算是比较全的，有什么建议也可以留言给我。 不知道大家都看了一下没，现在我们就要庖丁解牛了，我从上到下依次分析。 前端 你可能会会好奇，你不是讲后端学习路线嘛，为啥还有前端的部分，我只能告诉你，傻瓜，肤浅。 我们可不能闭门造车，谁告诉你后端就不学点前端了？ 前端现在很多也了解后端的技术栈的，你想我们去一个网站，最先接触的，最先看到的是啥？ 没错就是前端，在大学你要是找不到专门的前端同学，去做系统肯定也要自己顶一下前端的，那我觉得最基本的技术栈得熟悉和了解吧，丙丙现在也是偶尔会开发一下我们的管理系统主要是VUE和React。 在这里我列举了我目前觉得比较简单和我们后端可以了解的技术栈，都是比较基础的。 作为一名后端了解部分前端知识还是很有必要的，在以后开发的时候，公司有前端那能帮助你前后端联调更顺畅，如果没前端你自己也能顶一下简单的页面。 HTML、CSS、JS、Ajax我觉得是必须掌握的点，看着简单其实深究或者去操作的话还是有很多东西的，其他作为扩展有兴趣可以了解，反正入门简单，只是精通很难很难。 在这一层不光有这些还有Http协议和Servlet，request、response、cookie、session这些也会伴随你整个技术生涯，理解他们对后面的你肯定有不少好处。 Tip：我这里最后删除了JSP相关的技术，我个人觉得没必要学了，很多公司除了老项目之外，新项目都不会使用那些技术了。 前端在我看来比后端难，技术迭代比较快，知识好像也没特定的体系，所以面试大厂的前端很多朋友都说难，不是技术多难，而是知识多且复杂，找不到一个完整的体系，相比之下后端明朗很多，我后面就开始讲后端了。 网关层： 互联网发展到现在，涌现了很多互联网公司，技术更新迭代了很多个版本，从早期的单机时代，到现在超大规模的互联网时代，几亿人参与的春运，几千亿成交规模的双十一，无数互联网前辈的造就了现在互联网的辉煌。 微服务，分布式，负载均衡等我们经常提到的这些名词都是这些技术在场景背后支撑。 单机顶不住，我们就多找点服务器，但是怎么将流量均匀的打到这些服务器上呢？ 负载均衡，LVS 我们机器都是IP访问的，那怎么通过我们申请的域名去请求到服务器呢？ DNS 大家刷的抖音，B站，快手等等视频服务商，是怎么保证同时为全国的用户提供快速的体验？ CDN 我们这么多系统和服务，还有这么多中间件的调度怎么去管理调度等等？ zk 这么多的服务器，怎么对外统一访问呢，就可能需要知道反向代理的服务器。 Nginx 这一层做了反向负载、服务路由、服务治理、流量管理、安全隔离、服务容错等等都做了，大家公司的内外网隔离也是这一层做的。 我之前还接触过一些比较有意思的项目，所有对外的接口都是加密的，几十个服务会经过网关解密，找到真的路由再去请求。 这一层的知识点其实也不少，你往后面学会发现分布式事务，分布式锁，还有很多中间件都离不开zk这一层，我们继续往下看。 服务层： 这一层有点东西了，算是整个框架的核心，如果你跟我帅丙一样以后都是从事后端开发的话，我们基本上整个技术生涯，大部分时间都在跟这一层的技术栈打交道了，各种琳琅满目的中间件，计算机基础知识，Linux操作，算法数据结构，架构框架，研发工具等等。 我想在看这个文章的各位，计算机基础肯定都是学过的吧，如果大学的时候没好好学，我觉得还是有必要再看看的。 为什么我们网页能保证安全可靠的传输，你可能会了解到HTTP，TCP协议，什么三次握手，四次挥手。 还有进程、线程、协程，什么内存屏障，指令乱序，分支预测，CPU亲和性等等，在之后的编程生涯，如果你能掌握这些东西，会让你在遇到很多问题的时候瞬间get到点，而不是像个无头苍蝇一样乱撞（然而丙丙还做得不够）。 了解这些计算机知识后，你就需要接触编程语言了，大学的C语言基础会让你学什么语言入门都会快点，我选择了面向对象的JAVA，但是也不知道为啥现在还没对象。 JAVA的基础也一样重要，面向对象（包括类、对象、方法、继承、封装、抽象、 多态、消息解析等），常见API，数据结构，集合框架，设计模式（包括创建型、结构型、行为型），多线程和并发，I/O流，Stream，网络编程你都需要了解。 代码会写了，你就要开始学习一些能帮助你把系统变得更加规范的框架，SSM可以会让你的开发更加便捷，结构层次更加分明。 写代码的时候你会发现你大学用的Eclipse在公司看不到了，你跟大家一样去用了IDEA，第一天这是什么玩意，一周后，真香，但是这玩意收费有点贵，那免费的VSCode真的就是不错的选择了。 代码写的时候你会接触代码的仓库管理工具maven、Gradle，提交代码的时候会去写项目版本管理工具Git。 代码提交之后，发布之后你会发现很多东西需要自己去服务器亲自排查，那Linux的知识点就可以在里面灵活运用了，查看进程，查看文件，各种Vim操作等等。 系统的优化很多地方没优化的空间了，你可能会尝试从算法，或者优化数据结构去优化，你看到了HashMap的源码，想去了解红黑树，然后在算法网上看到了二叉树搜索树和各种常见的算法问题，刷多了，你也能总结出精华所在，什么贪心，分治，动态规划等。 这么多个服务，你发现HTTP请求已经开始有点不满足你的需求了，你想开发更便捷，像访问本地服务一样访问远程服务，所以我们去了解了Dubbo，Spring cloud。 了解Dubbo的过程中，你发现了RPC的精华所在，所以你去接触到了高性能的NIO框架，Netty。 代码写好了，服务也能通信了，但是你发现你的代码链路好长，都耦合在一起了，所以你接触了消息队列，这种异步的处理方式，真香。 他还可以帮你在突发流量的时候用队列做缓冲，但是你发现分布式的情况，事务就不好管理了，你就了解到了分布式事务，什么两段式，三段式，TCC，XA，阿里云的全局事务服务GTS等等。 分布式事务的时候你会想去了解RocketMQ，因为他自带了分布式事务的解决方案，大数据的场景你又看到了Kafka。 我上面提到过zk，像Dubbo、Kafka等中间件都是用它做注册中心的，所以很多技术栈最后都组成了一个知识体系，你先了解了体系中的每一员，你才能把它们联系起来。 服务的交互都从进程内通信变成了远程通信，所以性能必然会受到一些影响。 此外由于很多不确定性的因素，例如网络拥塞、Server 端服务器宕机、挖掘机铲断机房光纤等等，需要许多额外的功能和措施才能保证微服务流畅稳定的工作。 **Spring Cloud **中就有 Hystrix 熔断器、Ribbon客户端负载均衡器、Eureka注册中心等等都是用来解决这些问题的微服务组件。 你感觉学习得差不多了，你发现各大论坛博客出现了一些前沿技术，比如容器化，你可能就会去了解容器化的知识，像**Docker，Kubernetes（K8s）**等。 微服务之所以能够快速发展，很重要的一个原因就是：容器化技术的发展和容器管理系统的成熟。 这一层的东西呢其实远远不止这些的，我不过多赘述，写多了像个劝退师一样，但是大家也不用慌，大部分的技术都是慢慢接触了，工作中慢慢去了解，去深入的。 好啦我们继续沿着图往下看，那再往下是啥呢？ 数据层： 数据库可能是整个系统中最值钱的部分了，在我码文字的前一天，刚好发生了微盟程序员删库跑路的操作，删库跑路其实是我们在网上最常用的笑话，没想到还是照进了现实。 这里也提一点点吧，36小时的故障，其实在互联网公司应该是个笑话了吧，权限控制没做好类似rm -rf 、fdisk、drop等等这样的高危命令是可以实时拦截掉的，备份，全量备份，增量备份，延迟备份，异地容灾全部都考虑一下应该也不至于这样，一家上市公司还是有点点不应该。 数据库基本的事务隔离级别，索引，SQL，主被同步，读写分离等都可能是你学的时候要了解到的。 上面我们提到了安全，不要把鸡蛋放一个篮子的道理大家应该都知道，那分库的意义就很明显了，然后你会发现时间久了表的数据大了，就会想到去接触分表，什么TDDL、Sharding-JDBC、DRDS这些插件都会接触到。 你发现流量大的时候，或者热点数据打到数据库还是有点顶不住，压力太大了，那非关系型数据库就进场了，Redis当然是首选，但是MongoDB、memcache也有各自的应用场景。 Redis使用后，真香，真快，但是你会开始担心最开始提到的安全问题，这玩意快是因为在内存中操作，那断点了数据丢了怎么办？你就开始阅读官方文档，了解RDB，AOF这些持久化机制，线上用的时候还会遇到缓存雪崩击穿、穿透等等问题。 单机不满足你就用了，他的集群模式，用了集群可能也担心集群的健康状态，所以就得去了解哨兵，他的主从同步，时间久了Key多了，就得了解内存淘汰机制…… 他的大容量存储有问题，你可能需要去了解Pika…. 其实远远没完，每个的点我都点到为止，但是其实要深究每个点都要学很久，我们接着往下看。 实时/离线/大数据 等你把几种关系型非关系型数据库的知识点，整理清楚后，你会发现数据还是大啊，而且数据的场景越来越多多样化了，那大数据的各种中间件你就得了解了。 你会发现很多场景，不需要实时的数据，比如你查你的支付宝去年的，上个月的账单，这些都是不会变化的数据，没必要实时，那你可能会接触像ODPS这样的中间件去做数据的离线分析。 然后你可能会接触Hadoop系列相关的东西，比如于Hadoop（HDFS）的一个数据仓库工具Hive，是建立在 Hadoop 文件系统之上的分布式面向列的数据库HBase 。 写多的场景，适合做一些简单查询，用他们又有点大材小用，那Cassandra就再合适不过了。 离线的数据分析没办法满足一些实时的常见，类似风控，那Flink你也得略知一二，他的窗口思想还是很有意思。 数据接触完了，计算引擎Spark你是不是也不能放过…… 搜索引擎： 传统关系型数据库和NoSQL非关系型数据都没办法解决一些问题，比如我们在百度，淘宝搜索东西的时候，往往都是几个关键字在一起一起搜索东西的，在数据库除非把几次的结果做交集，不然很难去实现。 那全文检索引擎就诞生了，解决了搜索的问题，你得思考怎么把数据库的东西实时同步到ES中去，那你可能会思考到logstash去定时跑脚本同步，又或者去接触伪装成一台MySQL从服务的Canal，他会去订阅MySQL主服务的binlog，然后自己解析了去操作Es中的数据。 这些都搞定了，那可视化的后台查询又怎么解决呢？Kibana，他他是一个可视化的平台，甚至对Es集群的健康管理都做了可视化，很多公司的日志查询系统都是用它做的。 学习路线 看了这么久你是不是发现，帅丙只是一直在介绍每个层级的技术栈，并没说到具体的一个路线，那是因为我想让大家先有个认知或者说是扫盲吧，我一样用脑图的方式汇总一下吧，如果图片被平台二压了。 资料/学习网站 Tip：本来这一栏有很多我准备的资料的，但是都是外链，或者不合适的分享方式，博客的运营小姐姐提醒了我，所以大家去公众号回复【路线】好了。 絮叨 如果你想去一家不错的公司，但是目前的硬实力又不到，我觉得还是有必要去努力一下的，技术能力的高低能决定你走多远，平台的高低，能决定你的高度。 如果你通过努力成功进入到了心仪的公司，一定不要懈怠放松，职场成长和新技术学习一样，不进则退。 丙丙发现在工作中发现我身边的人真的就是实力越强的越努力，最高级的自律，享受孤独（周末的歪哥）。 总结 我提到的技术栈你想全部了解，我觉得初步了解可能几个月就够了，这里的了解仅限于你知道它，知道他是干嘛的，知道怎么去使用它，并不是说深入了解他的底层原理，了解他的常见问题，熟悉问题的解决方案等等。 你想做到后者，基本上只能靠时间上的日积月累，或者不断的去尝试积累经验，也没什么速成的东西，欲速则不达大家也是知道的。 技术这条路，说实话很枯燥，很辛苦，但是待遇也会高于其他一些基础岗位。 所实话我大学学这个就是为了兴趣，我从小对电子，对计算机都比较热爱，但是现在打磨得，现在就是为了钱吧，是不是很现实？若家境殷实，谁愿颠沛流离。 但是至少丙丙因为做软件，改变了家庭的窘境，自己日子也向小康一步步迈过去。 说做程序员改变了我和我家人的一生可能夸张了，但是我总有一种下班辈子会因为我选择走这条路而改变的错觉。 我是敖丙，一个在互联网苟且偷生的工具人。 创作不易，本期硬核，不想被白嫖，各位的「三连」就是丙丙创作的最大动力，我们下次见！ 本文 GitHub https://github.com/JavaFamily 已经收录，有大厂面试完整考点，欢迎Star。 该回答来自：敖丙

Re我和iDBCloud登录数据库的故事 11到13年做DBA的时候，最早接触的是iDB，我的理解之所以叫iDB应该是表达我的数据库的含义吧，估计我还是上学的时候就已经有了，目前iDB已经迭代到3.0，明年初会发布4.0，从DBA视角上看iDB就是可以review业务SQL，自动执行线上DDL，业务数据提取的申请和审批，WEB上的数据查询，最近做产品经理后才有机会系统的审视iDB（一个包含研发支撑、安全管控的企业级数据库管理产品），支撑了淘宝、天猫、支付宝(现在叫蚂蚁金服)的研发流程，保障了每年的双十一，但iDB Cloud与iDB不是一个产品，iDB是企业版的数据库管理产品，iDB Cloud则定位于个人版数据管理，相比企业中的流程约束，iDB Cloud更期望给大家提供在约束下的易用性最大化的灵活数据管理服务！ ------------------------- Re我和iDBCloud登录数据库的故事 这个月实例信息-实时性能UI改版发布，新版看起来还是比较舒服的！这个我在5元RDS大促时买的，没有跑业务，所以指标都是0，哈哈 实时性能的原型取自阿里DBA团队的传奇(朱旭)之手：orzdba，貌似很久之前已经开源，谷歌下便知! 翻出之前做DBA使用orzdba观察测试机器压测的截图，orzdba是用perl写的，检查项还是蛮多的，比如io吞吐量、rt、主机的load、swap、innodb row、innodb状态，这些是iDB Cloud没有的功能，iDB Cloud通过用户登录账号访问数据库，只能拿到MySQL进程内存中的状态信息，没有权限拿到主机指标，不过innodb相关信息是可以拿到的，但是考虑一般只有DBA才会关注这些细节，所以没开放，不知道大家还会关注什么指标？有没有办法拿到主机的指标？ ------------------------- 回5楼ringtail的帖子 刷新页面，类似关闭并重新打开，啥都没了，这个应该是正常的行为，话说为什么要刷新呢，我记得首页性能指标每5分钟自动刷新，即使点击页面上提供的刷新是没啥事的，而实时性能是每4秒更新一行的，还有什么场景要刷洗整个页面是我没想到的吗？ ------------------------- 回7楼ringtail的帖子 目前据我所知，真心还做不到刷新不丢iDB Cloud已经打开的选项卡、sql语句和执行结果什么的，现在只能在刷新时加一个“导航确认”，减少手痒式误刷新，哈哈 ------------------------- Re我和iDBCloud登录数据库的故事 翻工单时，发现有人关心使用iDB Cloud是否会收取流量费，我也没搞清楚，于是问了几个同事，终于把场景基本覆盖了，最终结论： 只要你不把你的RDS实例切换成外网（公网）模式的同时再导出或查询数据就不会收取流量费！ 由于那几个工单已经关闭，我就在这里回复下大家，希望那几个朋友能看到 ------------------------- 回9楼yzsind的帖子 一定不会辜负领导的期望，努力工作，争取升职加薪，当上总经理，出任ceo，迎娶白富美，想想还有点小激动 ------------------------- 回10楼佩恩六道的帖子 可能文字不好理解整体的流量计费情况，中午用我那小学的美术细胞，完成了一副“巨作”！ ------------------------- Re我和iDBCloud登录数据库的故事 刚才看到一个工单（iDB Cloud点击登录无效），这个工单已经处理完毕，但我觉得可以把售后同学的方法和大家分享下！ 以后遇到点击登录无效、登录后菜单栏点击无效、页面展示不全，很可能是浏览器兼容设置的问题！ 浏览器兼容设置的问题： 1.检查浏览器是否安装了AdBlockPlus（火狐浏览器的一个扩展），用火狐浏览器的用户遇到类似问题要注意这一点 2.IE浏览器的话就调整下兼容性模式（http://jingyan.baidu.com/article/fcb5aff791bb47edaa4a7115.html ），并进入开发者模式再测试下IDB Cloud 如果上述2招还是解决不了，记得留言给我！ ------------------------- Re我和iDBCloud登录数据库的故事 今天看工单时发现有个朋友反馈，包含mediumblob类型字段的表在做导出后，导出文件中没有mediumblob类型字段！ 其实导出时默认是不会导出BLOB类型字段，但是在导出-高级选项中是可以选择导出BLOB，但是BLOB字段只能以16进制格式导出，试想一个WORD文档或者一首歌曲，16进制导出后，没啥意义！ BOLB字段支持WEB界面上传和下载，是原文件呀，哈哈！ ------------------------- Re我和iDBCloud登录数据库的故事 未来几天休假，去考驾照 ------------------------- Re我和iDBCloud登录数据库的故事 看工单和论坛中，有用户会抱怨产品不好用，然后就消失了，真的好可惜！ 作为产品经理是很想倾听这些抱怨背后的真实想法，期待可以直接对话，无论是功能缺失，还是操作不便，哪怕是使用上的一种感觉或产品散发的味道不对都可以，不求需求，只求对话！ ------------------------- Re我和iDBCloud登录数据库的故事 感谢你的关注和支持！ 产品说到底不是产品经理个人的，也不是哪个企业的，而是用户的产品，水能载舟亦能覆舟，产品经理和企业只不过在帮用户把需求实现而已，所以我们会一直坚持下去，坚持和用户一起把iDB Cloud做得更好 ------------------------- Re我和iDBCloud登录数据库的故事 最近几天公司感冒发烧的同学很多，我也是坚持了好几天才沦陷的，这是在我记忆中来杭州4年第一次发烧，看来20多年在东北积累的体质终于被消耗殆尽，不过意外收获是在高烧间隔清醒之际对最近自己的所作所为反倒有了一些悔悟，有些是工作上，有些是做人上 ------------------------- 回24楼zhouzhenxing的帖子 可以的，iDB Cloud对RDS公网和私网模式都是支持的！ 你可以在RDS控制台-账号管理中 新建你的数据库账号，然后还是在RDS控制台的右上角，点击“登录数据库”就可以进入iDB Cloud了，建议你先自己试着玩玩，有困惑的话我们一同讨论 ------------------------- 回24楼zhouzhenxing的帖子 iDB Cloud在官网上有2个手册，写的比较官方，可能对你用处不大，我其实不太喜欢写什么手册，如果一个产品做的体验不好，只能靠手册来弥补还是有点low，不过我已经在想如何不low了，还是那句话 有困惑的话我们一同讨论 http://help.aliyun.com/doc/view/13526530.html?spm=0.0.0.0.6W7Qx1 http://help.aliyun.com/view/11108238_13861850.html?spm=5176.7224961.1997285473.4.Irtizv ------------------------- Re我和iDBCloud登录数据库的故事 都说在产品上做加法容易，做减法难，我理解无论产品功能还是工作上，给予总会得到别人的喜欢，而要求或收回时会得到对方的负面情绪，因此趋利避害，尽量不做减法，但有时候很难避免，这就要想想为什么要做减法？ 多数都是之前错误选择，做了过多的加法，因为普通的加法很好做，人们往往会趋之如骛，但是真正、正确的加法是要在拒绝几十到上百种选择基础上的最终选择，将复杂解决方案以极简形式展现出来，而不是解决方案和功能的堆积，所以未经严格挑选的加法对产品是有害的，工作也一样，不要贸然接受新工作，保证核心精力投入到核心工作上，摊子铺得太大，一定会遇到心力瓶颈，而心力一旦枯竭，再强的脑力也无法施展，任何一项工作都是以大量心力付出为前提，脑力提升我找到了一些办法，心力提升却一筹莫展，所以只好专注，要不全心投入，要不置身事外，今后功能和工作都要适时做做减法了！ ------------------------- Re我和iDBCloud登录数据库的故事 今天有个同事转给我一个工单，说从深圳云管理系统界面的iDB Cloud上看到库是utf8，而后端开发人员说库是gbk的，我查看了工单中截图附件（RDS控制台-参数设置），虽然从工单中无法完全断定用户遇到的问题，我还是大胆猜测下： 我看到截图上的character_set_server参数，首先character_set_server是RDS唯一开放的关于字符集的参数，但其实这个参数与用户在iDB Cloud上看到数据是否乱码没有关系，character_set_server其实就是默认的内部操作字符集，只有当字段->表->库都没有设置CHARACTER SET，才会使用character_set_server作为对应字段-表-库的默认字符集！ 透露一个秘诀（传男也传女）： (1)让你的字段-表-库的字符集都是utf8; (2)在iDB Cloud-命令窗口执行set names utf8；#会将character_set_client、character_set_connection和character_set_results都设置成utf8 只要让(1)和(2)字符集保持一致（utf8、gbk、latin1等），乱码就搞定了！ 不清楚为什么截图会变成上面这样！把在iDB Cloud-命令窗口上执行的命令和结果也粘下 mysql>set names gbk; 执行成功,花费 7.59 ms. mysql>show  variables like '%char%'; +--------------------------+----------------------------------+ | Variable_name            | Value                            | +--------------------------+----------------------------------+ | character_set_client     | gbk                              | | character_set_connection | gbk                              | | character_set_database   | gbk                              | | character_set_filesystem | binary                           | | character_set_results    | gbk                              | | character_set_server     | gbk                              | | character_set_system     | utf8                             | | character_sets_dir       | /u01/mysql/share/mysql/charsets/ | +--------------------------+----------------------------------+ 共返回 8 行记录,花费 10.51 ms. mysql>set names utf8; 执行成功,花费 7.32 ms. mysql>show  variables like '%char%'; +--------------------------+----------------------------------+ | Variable_name            | Value                            | +--------------------------+----------------------------------+ | character_set_client     | utf8                             | | character_set_connection | utf8                             | | character_set_database   | gbk                              | | character_set_filesystem | binary                           | | character_set_results    | utf8                             | | character_set_server     | gbk                              | | character_set_system     | utf8                             | | character_sets_dir       | /u01/mysql/share/mysql/charsets/ | +--------------------------+----------------------------------+ 共返回 8 行记录,花费 10.32 ms. ------------------------- Re我和iDBCloud登录数据库的故事 你的专属BUG： 发现时间 资深用户 专属BUG 2015-02-03 23:06 啊啊啊啊8  实例信息-实时性能-参数说明-【delete】 表示InnoDB存储引擎表的写入（删除）记录行数 ------------------------- Re我和iDBCloud登录数据库的故事 用户“夫子然”反馈说iDB Cloud感觉没phpMyAdmin方便！ 非常感谢这个用户的反馈，我先谈下我的理解，每个人使用产品都有一些固定的用例(use case)，我无法承诺针对任何人的任何用例，都做到最短操作路径（方便），这个用户抛出的问题也是我一直在思考的，虽然无法100%，但是我们可以覆盖主流用例，只要绝大多数的常规操作室是方便的，少数非经常用的操作路径长点，应该能接受吧，我们已经在行动！ 今天iDB Cloud发布了2.0.2，一个主要变化就是在左侧对象列表上增加了“列”和“索引”，正是我们分析数据看到在众多数据库对象中表的操作是最频繁的，而在表的操作中“列“和”索引“是最频繁的，这个版本将对“列”和“索引”的操作前置，缩短了主流用例路径，与用户“夫子然”的建议不谋而合，这只是开始，只要我们深挖，与功能和体验死磕，终有一天会让大家说iDB Cloud比phpMyAdmin方便！ ------------------------- 回31楼sqlserverdba的帖子 非常感谢！ 有你们作为后盾，有用户支持，才有iDB Cloud的现在和未来！ ------------------------- 消失了几天，终于把科目三和科目四搞定了，昨天终于拿到驾照了之前在【17楼】总结了科目二的一些体会，今天也分享下科目三的一点点感受！ 考试前几天，教练说是智能考（据说智能考比较简单，通过率很高），结果就留出考前2天练车时间，结果阴差阳错的换成了人工考（貌似是我们车是4个大老爷们，听教练说他一年最多抽到2次人工考就算多的啦，对此我只能呵呵），现在的问题就来了，4个人2天练车时间，一个人半天，那就从早到晚的练呗，我先简单描述下整个过程！ 1.心态(1)从开始练车到考试通过，心情没有特别大的起伏，不过考前失眠还是有的，哈哈(2)另外三个人，有的信心满满，有的吊儿郎当，有的不言不语，我应该也属于不言不语那种 2.练习(1)4个人轮流练，虽然一天下来很累，但还能挺住，开的时好时坏，不过总体上在变好(2)开车的时候几乎意识不到什么的，关键是在后座自己去琢磨，回忆自己错在哪里，为什么会错 3.考试(1)考试单上说7：00考试，结果在寒风中等了1个小时，终于盼来了考官，一共5辆车考试，我们是第二辆车(2)第一辆车是2男2女，2女都挂，当时我们第二辆车是被要求跟在第一辆车后面的，所以看的一清二楚，比如连续3次手刹未放下导致起步失败、4档走转弯到对向车道等(3)接下来到我们了，4男0女，结果挂了2男（信心满满和吊儿郎当） 上面只是简单介绍了科目三过程，下面才是干货！ 每年都有成千上万的人拿到驾照，我不认为自己牛，只是把我个人的应对方法和背后的原因拿出来分享下！练车其实就是教练的心智模型-翻译-语言-反译-我们的心智模型，让我们知道在什么情况做什么动作，预测路况，只要我们关于开车拥有了自己的心智模，开车就变成了一种本能，就像一旦学会了骑自行车，很难失去这种技能，在练车之前，我们是有自己关于开车的心智模型的，正所谓没吃过猪肉也见过猪跑，但是我们想想自己关于开车的心智模型是正确的吗？显然不是，不信你就试试去开车吧，抛开被交警抓之外，我想应该也能开起来，至于开的好不好，会不会一直开得好，我说不准，但是绝大多数人一定是开不好的，所以我们报驾校，除了硬性法律规定，驾校教练的确交会了很多东西，虽然很多是应试的技巧，这里就顺便说下这些技巧，技巧具体内容每家教练都会教的，而我想说的技巧其实就是“语言”，通过教练的“心智模型”-翻译出来的“语言”，接下来我们要做什么，“反译”将教练开车技巧的“语言”理解，首先你要虚心去接受，然后再去观察或运用，根据反馈把坏的放弃，把好的保留以便修正自己关于开车的“心智模型”，而“心智模型”最快速的形成方式就是亲身体验，所以一定要实战、要开车，还要经常开车，不断改进关于开车的“心智模型”，拿3个案例具体说下吧！【吊儿郎当】这两天都是下午才过来练车，开车时教练说一句话，他有十句等着，其中五句是解释自己为什么要这么做，另外五句是在问如果这种情况应该怎么做，如果那种情况怎么做，总是在关注自己想象中的场景，而不关注自己正在体验的场景，所以学来学去还是最初始的关于开车的“心智模型”，失败在“反译”这一步，认为只要听过就会了，结果被考官判直接挂掉并不予补考机会 【信心满满】与我们一直练车，对教练的话言听计从，而且也理解了，如果是上学时的考试或科目三智能考试一定没问题，但是面对人工考，评判是由交警而不是电脑，结果转向时没有观察后视镜，被考官迫停在路中间后开始补考，然后还是转向时没有观察后视镜，在路中间起步，之前学的技巧中没有应对的方法，结果还是挂了，教练也很惋惜，如果说他的失败，败于没有改进自己关于开车的“心智模型”，其实“反译”他做的很好，但是在运用、观察和反馈分析上做的不好，“心智模型”不是统一的标准，一定是个性化的，一定是自己认为是好的反馈、行为积累起来的，也只有“心智模型”才能在任何情况下帮助你做出判断，判断效果就取决于“心智模型”是否成熟，成熟的“心智模型”可以让在紧张、突发等情况下依然做出正确的判断，因为那是一种本能 【我】总说别人不好之处，也谈谈我自己，自然这些都是我事后分析总结的，练车过程中可没有感受到，我做的事情也很简单，就是“反译”和改进我的“心智模型”，“反译”，教练说什么，我就听什么，开车时来不及想，就在后座时在脑中模拟上演之前的场景并不断上演我不断修正的剧本，比如我的离合器总是抬的很快，经常熄火，特别是在路况复杂、指令突然时根本来不及思考如何应对，只能靠本能的时候，往往还是会快速抬离合器，因为我的“心智模型”中就是这么认为的，你可以说是离合器太低、座位太靠后，这些都是理由，如果是理由，那就去解决吧！我是这样做的，强制自己将抬离合器的动作拆成3步，即使不开车时也经常练习，慢慢的就变成了“心智模型”的一部分，自然在任何场景下都不会再出现离合器抬快熄火的情况了，这只是一个细节，其他细节也是类似，慢慢我的“心智模型”就建立起来了，开车技巧是很有用的，关键是你要理解这些技巧是要解决什么问题，你要解决相同问题时的做法是否相同，如果有不同之处是否正确，要去不断验证，如果是正确的，就改进到你的“心智模型”吧！ PD不光光是要把产品做好，我认为一个好PD应该能让整个世界变得更好！ ------------------------- Re我和iDBCloud登录数据库的故事 近期iDB Cloud将更名：DMS DMS (data management service) 数据管理服务 iDB Cloud从RDS起步，目前已经覆盖包括RDS、ADS、TAE，未来2个月还会覆盖万网和DRDS，同时ECS也开始兼容，“DMS”请各位新老用户，继续支持！ ------------------------- Re我和iDBCloud登录数据库的故事 1.使用HTTPS iDB Cloud这个4月份中旬版本就会支持HTTPS，敬请期待！ 2.设置账号是否允许登录iDB 3.31 会发布一个版本，这版本其中一个功能就是授权登录，允许实例owner设置该实例是否允许别人访问，允许谁可以访问 有如此心犀相通的用户，夫复何求！！！ 还有什么建议？ ------------------------- 回38楼pillowsky的帖子 好的，我先逐条对照分析下 ------------------------- Re我和iDBCloud登录数据库的故事 RDS数据库？RDS控制台-账号管理，检查下账号对不对，不行就重置密码 ------------------------- Re我和iDBCloud登录数据库的故事 3.31 DMS(原iDB Cloud) 在RDS上新版本发布！ 【实例授权】 DMS for MySQL 2.1发布！ 【会话统计】 DMS for SQL Server 2.0发布！ 【E-R图】 【对象列表】 ------------------------- Re我和iDBCloud登录数据库的故事 你是想听客服回复？算了，我还是从DMS PD 看RDS的视角来分享下吧！ RDS是一个数据库，在数据库之外包装了一些东西，帮用户做了备份恢复、HA、监控等，回到你提到的账号，root账号在MySQL里是权限最大的，也是风险最大的，为了保证RDS这些备份恢复、HA能7*24小时为你服务，所以就不能让你的账号去影响到这些组件，不然你一个误操作把实例关闭了怎么办，但是我承认目前RDS在控制台上提供的账号的确限制比较死，所以在RDS上你是无法获取root账号的，话说你要root权限做什么，你说的数据库创建在RDS控制台上提供功能了 ------------------------- 回46楼苗教授的帖子 客气了，也不知道能不能帮上你！ 如果从外看RDS的使用的话，可以在RDS控制台上去管理RDS实例（用用就熟悉了），或者直接调用OPEN API来完成实例管理操作，然后针对RDS实例中数据管理，就可以登录DMS，有几个常用链接发你看看，有问题可以在这里继续探讨！ DMS： http://idb.rds.aliyun.com/ DMS 功能介绍： http://docs.aliyun.com/#/rds/getting-started/database-manage&login-database OPEN API: http://docs.aliyun.com/?spm=5176.383715.9.5.1LioEO#/rds/open-api/abstract RDS控制台： https://rds.console.aliyun.com/console/index#/

【徐寅-南京大学- 阿里实习心得】 现在的心情非常复杂，因为小姐姐说看中了我的研究成果才让我参加这个实习心得分享的，但是我环顾四周只有我一个人的成果还没有发表出来！有一种青铜误入王者局的错乱感，不过在小姐姐大大的“不准退出”四个字面前，还得强撑着分享一点我的搬砖经历。 技术落地 来到菜鸟实习给了我在学校科研完全不一样的体验。这点感觉大家应该都深有体会。在学校是设计一个漂亮的齿轮，而在公司需要把这个齿轮安装到巨大的机器上，还要保证能够正常运行。结果就是来了菜鸟以后我花了很多时间在算法无关的事情上，比如说上线代码的编写和调试，比如说符合rtp接口的模型的训练和装载，比如和仓库运维人员的沟（扯）通（皮），争取更多的流量给我们的算法测试等等。在仓库这种大规模的现实复杂环境进行落地，为了数据的准确，只有到仓库实地考察测算以后你才能安下心来。 快乐工作 在我来阿里之前，关于阿里只听过马老师的“福报论”，因此以为可能会是一个从黑夜干到黑夜的血汗工厂。不过没想到实际上是10-6-5的八小时工作制，马老师的“福报论”只是鼓励大家要多奋斗而已。虽然大家都习惯了自愿加班到9点，不过有学长借的工牌，能够每天吃20块的夜宵。不过要是夜宵的种类能更丰富一点就好了，那种精致的小蛋糕总是可遇不可求。 回想一下，在杭州已经去过不少次西湖了，不过都是团建的活动。菜鸟ai部的团建应该是我最喜欢的团建类型了。在西湖的茶园美景边上，享受着清风和茶香，大家悠闲地玩着桌游或者聊天，让我这个ktv残疾人终于享受到了团建的快乐。 希望成果没事 半年多的实习一共攒出来两个工作，一个是偏理论的强化学习多目标环境自动分解技术，另一个是强化学习应用在仓库进行拣选单全局优化的工作，目前即将投稿Neurips20和NMI，希望能有一个好结果吧！ 【杨亚涛-中山大学- 我的RI实习经历和感受】 现在回想还能非常清晰的记得当初实习第一天的那个场景，经过一系列入职流程之后，在杭州那高温的鬼天气下，我和师兄搬着台式机从四号楼走到了七号楼。由于我属于那种营养过剩的体型，机器搬到七号楼时，我的整个上衣都感觉被汗打湿了。进入大厅中，好不容易从被高温天气折磨的懵逼的状态下解脱出来。我又进入到了一个新的懵逼阶段。师兄带着我掠过了无数个工位之后转身进入了最角落的一个小房间。嗯，没错，我在实习的第一天就被拉进阿里特色的双十一项目室了。环顾着周围的大佬，心中还是有些胆怯。懵逼的在各位大佬面前做完自我介绍。 之后，在师兄的帮助下装完各种实验环境。师兄带着我到了走廊并在玻璃上描绘着大家做的事情以及我要做的事情。呃。。。懵逼过后的我开始接触了一个全新的令我再次懵逼的研究内容-Query改写。简单来说就是淘宝的用户常常输入的Query和商品标题描述之间会存在GAP。如何消除这个GAP是需要Query改写来做的。举个例子，用户搜索“大容量冰箱”，很多相关的商品标题不会用“大容量”来描述。会用多少升来写。单用用户输入的Query进行商品召回，会有很多相关产品会被忽略，并且还有可能面临不相关产品被召回展示。为了增加相关商品召回以及准确度，就需要对用户输入的原始Query进行改写。呃。。。听完师兄的介绍之后，师兄说希望能在双十一检验下效果。那个时候的感觉就是，哪有时间懵逼啊，抓紧做吧。 接下来，每天就在师兄发资料、阅读资料、实验、分析数据中度过。实验结果逐渐从坏变成了好。不过最后还是很遗憾没有在双十一时候检测模型效果。不过，在双十一之后师兄上线测试效果。还是有明显的改进的。在看到师兄周报中线上指标的提升之后，我的内心不由的升起了些许成就感。之后就开始了写论文投论文。经过一轮SIGIR的Reject之后，该工作被CIKM接收。总体谈下实习的感受。在来到阿里做RI实习之前，在实验室都是做一些偏向于研究性质的工作。呃。。。简单来说就是做了很多脱离应用场景的的工作。就是为了发论文而发论文。在阿里做的都是实用的、能够迅速看到实际效果的工作。既能够发论文，自己每次打开淘宝搜索时又能获得满满的成就感。 【张心怡-北京大学- 在阿里数据库科研团队实习是种怎样的体验？】 作者简介： 张心怡，北京大学前沿交叉研究院研究生，中国人民大学信息学院本科生。从18年底开始在POLARDB-X团队智能数据库组的实习，现已在阿里度过了一年多的时光。 心怡说，对于有志于数据库领域研究的小伙伴，这里是最好的学习和工作平台。 优秀的同行人，助我成长 我所在组的研究方向是智能数据库，目标是利用机器学习和统计优化等技术，实现数据库系统各个组件的自动优化，如存储引擎，并发控制，SQL优化器等，以减少系统成本，提升系统性能，以实现一个self-driving的数据库系统。 这是一个很有前景的方向。大四上学期，初来实习的我内心其实颇为忐忑，面对组里的同事前辈，“跟不上进度”成了我最担心的事情。然而，进入到工作状态之后，我心里的石头落了地：mentor给实习生安排的任务是循序渐进的，一次次讨论与指导，使我能够快速上手。经过和mentor的讨论，我选择把“智能查询优化”作为第一个研究项目，并且与大四学期的毕设结合，基于阿里线上平台的实际问题，展开研究。查询优化属于数据库比较底层的部分，之前我没有很深的了解。在开展研究的过程中，除了自己阅读文献，同事成为了我的“知识宝库”。遇到场景落地问题时，我会请教PolarDB-X优化器开发的同事，他们往往能够一针见血地指出实际问题。 我的成长离不开组里各位老师的帮助与分享，组内还会定期或不定期组织reading group，讲解工作成果与学界进展。在这里，你会发现身边的同事大多对深耕于某一领域，实力扎实，与他们交流会收获很多！ 快乐工作，认真生活 “快乐工作，认真生活”，记得我刚刚入职时HR提到了这个观点，入职之后我发现这是阿里人身体力行的一句话。 在工作上，身边的人都很努力。在这种氛围的感召下，遇到难题，我也会情不自禁地在工位上多坐一会。暑期实习的时候，时常9点之后结束工作，打车回宿舍。生活上，团队里组织了丰富多彩的活动。聚餐已经成为了常规项目。工作间隙还可以去健身房锻炼一波，园区的按摩椅也成为了养生女孩的午休项目。印象最深的是团队组织的运动会，女子项目是平板支撑。听到这个消息之后，我基本每天都进行练习。运动会那天，杭州base、北京base、硅谷base进行了三地PK，在同事的加油下，我坚持了平板支持7分25秒，最后拿到了女子组冠军。 大家的工作与生活模式都很健康充实。在阿里，我见识到了工作发展的可持续性与优秀的团队交互模式。 阿里实习，带我打开科研大门 来到阿里之前，我是一个对科研比较懵懂的门外汉。特别幸运的是，在这里我遇到了很棒的mentor们指导我进行研究工作。不论是基础的代码风格还是研究思路、遇到的问题，mentor都会事无巨细地进行引导。以前我写代码，能跑起来、自己看得懂就行。 我在阿里提交的第一次merge request，有不少随意的空行和一些tricky且难以维护的逻辑。印象很深的是，当时mentor逐行写了comment指出问题。我认识到了代码的规范性和可维护性，以及别人是否能够理解自己的代码都是要考虑的问题。 2019年我从中国人民大学毕业，来到北京大学攻读数据科学研究生，感谢我的研究生导师崔斌老师对我在阿里实习的支持。当时，我在阿里研究的第一个课题，也画上了圆满的句号：我在NDBC（CCF National Database Conference）进行了课题报告，投稿论文并被评为best student paper。 我在阿里参与研究的第二个课题是数据库的智能调参。传统的数据库调参中DBA基于经验与尝试推荐参数值，而我们要做的是基于机器学习算法自动高效给出推荐。这个课题在进行过程中遇到了不少困难，算法的适用性与有效性是我们重点考虑的。在进行了很久的实验之后，会发现一些坑和问题，挫败感是有的，但是会马上被新的尝试与期待替代。 我发现，在这里的研究并不是为了学术灌水而做，有意义研究是问题导向的。mentor时常强调要找到可复现的场景和实际问题，这样才有实际意义。我的mentor base在硅谷，因为时差我时不时在早上收到消息和反馈，这成为了我起床开启新的一天的最大动力。mentor是我科研路上的引路人，也是并肩作战的战友，大家一起为了攻克问题而努力！ 阿里的实习经历，帮我找到了打开科研大门的钥匙，让我从对科研的懵懵懂懂，到爱上了这一发现问题、攻克问题的过程。我希望将来能继续数据库领域的研究工作，在玉洁冰清的逻辑世界继续追寻。 【张亚斌-华南理工大学- 搬砖有感之研究吐槽】 首先声明这是一份任务性报告，大家如果赶去吃饭就可以先撤了。大家如果正在排队，可以一起吐槽一下。 作为一名即将硕士毕业&博士入学的研究生，我的研究经验有限，所以以下感悟吐槽仅供大家茶余饭后一笑，偶有雷同，纯属巧合~ 选题 提到学术研究，首当其冲的就是选题啦。选题并不仅仅是选择自己喜欢的热点题目，要综合考虑很多其他因素： - Supervisor or coauthor的研究背景。该项涉及到可预期的帮助 - 可使用的硬件资源。对于cv和ml来说，有的课题需要占用很大的计算资源，如 - -ImageNet based NAS。硬件资源基本决定了试错的时间成本。 - 研究课题的研究价值。当时火的课题，有些做1-2年之后可能就过时了，有些1-2年之后可能更加火。决定性因素很大程度是其潜在应用空间。 该研究课题在工业界的价值。在阿里工作实习的我们的研究课题当然和公司项目有千丝万缕的联系。 自己的兴趣。 除了上述的热点课题或潜在热点课题，还有如下的选择： 自创新的课题，俗称挖坑。该方面需要对整个研究领域比较全面和比较深入的理解，然后对整个研究领域的研究方向进行建设性的预测。一般都是大佬在挖坑。 方法 选好课题之后，得到对应的解决问题的方法一般经由如下步骤： 1. 发现问题的能力：一般来说，对于新问题会有一个或几个直接的处理方法，此时就是比手速的时候了；不过很多时候这里真正较量的是发现问题的能力。 2.发现问题的能力again：后续像我这样的大多数研究人员都是在该框架上修修改改，当然也会有大牛直接开辟新的basic pipelines。如果我们聚焦在对现有框架的修改，首先第一步要做的是分析现有框架有什么遗留问题，然后针对该问题设计改进方法。 3.Naïve idea：我们一般会发现其实做出少量改进并发表论文是相对容易的，因为simple idea是比较容易获得的：如 https://mp.weixin.qq.com/s/vnyra_xcg9D6NUNVpKtP0Q所调侃，单纯的做方法A+方法B，或者A方法用于B领域就可以实现（或许这就是多看论文的巨大优势？调侃脸）。不过对于非入门同学来说，该method combine的方式形同饮鸩止渴。 4.Mature idea：相对于直接将其他论文中的方法“借”为己用，借鉴其他论文方法提出过程中的研究思路是一个更加合理的选择。也就是要分析出：该作者发现了哪些问题？对该问题提出了怎样的思考？如何从思考过渡到实际算法改进？甚至对于算法改进过程中碰到的问题的处理方法。这个分析过程是重要的也是必要的，我觉得这个过程是研究人员提升的过程，即发现问题，解决问题能力的全面提升。 5.Advanced idea: 特指原创性很强的，从无到有的idea。和上面说的大牛的basic pipelines应该基本重叠吧。 写作 基本方法验证之后，接下来论文写作了。 英文写作约等于逻辑+英文本身，其中逻辑占绝大比重。逻辑就是讲故事，如何条理分明将自己的工作讲给别人听，并让听者觉得该工作在整个研究的领域是重要的，有意义的。写作能力很重要，例如即使naive的idea 如果写作很好也是很有机会发表的。那么如何练习呢？我导师给的朴素建议是：多练习，每天把自己的工作进展和想法用英文formal 的写出来。 最后，也是最重要的，祝各位同学抱紧大腿，大腿紧抱。

你好，这里有208份资料，详情请参考：https://github.com/ty4z2008/Qix/blob/master/ds.md 《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《Distributed porgramming liboratory》介绍:分布式编程实验室,他们发表的很多的paper,其中不仅仅是学术研究,还有一些工业界应用的论文. 《MIT Theory of Distributed Systems》介绍:麻省理工的分布式系统理论主页,作者南希·林奇在2002年证明了CAP理论,并且著《分布式算法》一书. 《Notes on Distributed Systems for Young Bloods》介绍:分布式系统搭建初期的一些建议 《Principles of Distributed Computing》介绍:分布式计算原理课程 《Google's Globally-Distributed Database》介绍:Google全球分布式数据介绍,中文版 《The Architecture Of Algolia’s Distributed Search Network》介绍:Algolia的分布式搜索网络的体系架构介绍 《Build up a High Availability Distributed Key-Value Store》介绍:构建高可用分布式Key-Value存储系统 《Distributed Search Engine with Nanomsg and Bond》介绍:Nanomsg和Bond的分布式搜索引擎 《Distributed Processing With MongoDB And Mongothon》介绍:使用MongoDB和Mongothon进行分布式处理 《Salt: Combining ACID and BASE in a Distributed Database》介绍:分布式数据库中把ACID与BASE结合使用. 《Makes it easy to understand Paxos for Distributed Systems》介绍:理解的Paxos的分布式系统,参考阅读:关于Paxos的历史 《There is No Now Problems with simultaneity in distributed systems》介绍:There is No Now Problems with simultaneity in distributed systems 《Distributed Systems》介绍:伦敦大学学院分布式系统课程课件. 《Distributed systems for fun and profit》介绍:分布式系统电子书籍. 《Distributed Systems Spring 2015》介绍:卡内基梅隆大学春季分布式课程主页 《Distributed Systems: Concepts and Design (5th Edition)》介绍: 电子书,分布式系统概念与设计(第五版) 《走向分布式》介绍:这是一位台湾网友 ccshih 的文字，短短的篇幅介绍了分布式系统的若干要点。pdf 《Introduction to Distributed Systems Spring 2013》介绍:清华大学分布式系统课程主页,里面的schedule栏目有很多宝贵的资源 《Distributed systems》介绍:免费的在线分布式系统书籍 《Some good resources for learning about distributed computing》介绍:Quora上面的一篇关于学习分布式计算的资源. 《Spanner: Google’s Globally-Distributed Database》介绍:这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义. 《The Chubby lock service for loosely-coupled distributed systems》介绍:Google的统面向松散耦合的分布式系统的锁服务,这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，著名的zookeeper就是基于Chubby的开源实现.推荐The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems 《Sinfonia: a new paradigm for building scalable distributed systems》介绍:这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文. 《Data-Intensive Text Processing with MapReduce》介绍:Ebook:Data-Intensive Text Processing with MapReduce. 《Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System》介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System. 《Distributed Query Processing》介绍:分布式查询入门. 《Distributed Systems and the End of the API》介绍:分布式系统和api总结. 《Distributed Query Reading》介绍:分布式系统阅读论文，此外还推荐github上面的一个论文列表The Distributed Reader。 《Replication, atomicity and order in distributed systems》介绍:Replication, atomicity and order in distributed systems 《MIT course:Distributed Systems》介绍:2015年MIT分布式系统课程主页，这次用Golang作为授课语言。6.824 Distributed Systems课程主页 《Distributed systems for fun and profit》介绍:免费分布式系统电子书。 《Ori：A Secure Distributed File System》介绍:斯坦福开源的分布式文件系统。 《Availability in Globally Distributed Storage Systems》介绍:Google论文：设计一个高可用的全球分布式存储系统。 《Calvin: Fast Distributed Transactions For Partitioned Database Systems》介绍:对于分区数据库的分布式事务处理。 《Distributed Systems Building Block: Flake Ids》介绍:Distributed Systems Building Block: Flake Ids. 《Introduction to Distributed System Design》介绍:Google Code University课程，如何设计一个分布式系统。 《Sheepdog: Distributed Storage System for KVM》介绍:KVM的分布式存储系统. 《Readings in Distributed Systems Systems》介绍:分布式系统课程列表,包括数据库、算法等. 《Tera》介绍:来自百度的分布式表格系统. 《Distributed systems: for fun and profit》介绍:分布式系统的在线电子书. 《Distributed Systems Reading List》介绍:分布式系统资料,此外还推荐Various articles about distributed systems. 《Designs, Lessons and Advice from Building Large Distributed Systems》介绍:Designs, Lessons and Advice from Building Large Distributed Systems. 《Testing a Distributed System》介绍:Testing a distributed system can be trying even under the best of circumstances. 《The Google File System》介绍: 基于普通服务器构建超大规模文件系统的典型案例，主要面向大文件和批处理系统， 设计简单而实用。 GFS是google的重要基础设施， 大数据的基石， 也是Hadoop HDFS的参考对象。 主要技术特点包括： 假设硬件故障是常态（容错能力强）， 64MB大块， 单Master设计，Lease/链式复制， 支持追加写不支持随机写. 《Bigtable: A Distributed Storage System for Structured Data》介绍:支持PB数据量级的多维非关系型大表， 在google内部应用广泛，大数据的奠基作品之一 ， Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括： 基于GFS实现数据高可靠， 使用非原地更新技术（LSM树）实现数据修改， 通过range分区并实现自动伸缩等.中文版 《PacificA: Replication in Log-Based Distributed Storage Systems》介绍:面向log-based存储的强一致的主从复制协议， 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题， 能加深对主从强一致复制的理解程度。 技术特点： 支持强一致主从复制协议， 允许多种存储实现， 分布式的故障检测/Lease/集群成员管理方法. 《Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads》介绍:分布式存储论文:支持强一直的链式复制方法， 支持从多个副本读取数据,实现code. 《Finding a needle in Haystack: Facebook’s photo storage》介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特色:小文件合并成大文件,小文件元数据放在内存因此读写只需一次IO. 《Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency》介绍: 微软的分布式存储平台, 除了支持类S3对象存储，还支持表格、队列等数据模型. 主要技术特点：采用Stream/Partition两层设计（类似BigTable）;写错（写满）就封存Extent,使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中. 《Paxos Made Live – An Engineering Perspective》介绍:从工程实现角度说明了Paxo在chubby系统的应用， 是理解Paxo协议及其应用场景的必备论文。 主要技术特点： paxo协议， replicated log， multi-paxo.参考阅读:关于Paxos的历史 《Dynamo: Amazon’s Highly Available Key-Value Store》介绍:Amazon设计的高可用的kv系统,主要技术特点：综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统， 可应用于amazon购物车场景.新内容来自分布式存储必读论文 《Efficient Replica Maintenance for Distributed Storage Systems》介绍:分布式存储系统中的副本存储问题. 《PADS: A Policy Architecture for Distributed Storage Systems》介绍:分布式存储系统架构. 《The Chirp Distributed Filesystem》介绍:开源分布式文件系统Chirp,对于想深入研究的开发者可以阅读文章的相关Papers. 《Time, Clocks, and the Ordering of Events in a Distributed System》介绍:经典论文分布式时钟顺序的实现原理. 《Making reliable distributed systems in the presence of sodware errors》介绍:面向软件错误构建可靠的分布式系统,中文笔记. 《MapReduce: Simplified Data Processing on Large Clusters》介绍:MapReduce:超大集群的简单数据处理. 《Distributed Computer Systems Engineering》介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表很多干货. 《The Styx Architecture for Distributed Systems》介绍:分布式系统Styx的架构剖析. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源. 《RebornDB: The Next Generation Distributed Key-Value Store》介绍:下一代分布式k-v存储数据库. 《Operating System Concepts Ninth Edition》介绍:分布式系统归根结底还是需要操作系统的知识,这是耶鲁大学的操作系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操作系统指南,学习分布式最好先学习操作系统. 《The Log: What every software engineer should know about real-time data's unifying abstraction》介绍:分布式系统Log剖析,非常的详细与精彩. 中文翻译 | 中文版笔记. 《Operating Systems Study Guide》介绍:分布式系统基础之操作系统学习指南. 《分布式系统领域经典论文翻译集》介绍:分布式系统领域经典论文翻译集. 《Maintaining performance in distributed systems》介绍:分布式系统性能维护. 《Computer Science from the Bottom Up》介绍:计算机科学，自底向上,小到机器码,大到操作系统内部体系架构,学习操作系统的另一个在线好材料. 《Operating Systems: Three Easy Pieces》介绍:<操作系统:三部曲>在线电子书,虚拟、并发、持续. 《Database Systems: reading list》介绍:数据库系统经典论文阅读列,此外推送github上面的db reading. 《Unix System Administration》介绍:Unix System Administration ebook. 《The Amoeba Distributed Operating System》介绍:分布式系统经典论文. 《Principles of Computer Systems》介绍:计算机系统概念，以分布式为主.此外推荐Introduction to Operating Systems笔记 《Person page of EMİN GÜN SİRER》介绍:推荐康奈尔大学的教授EMİN GÜN SİRER的主页,他的研究项目有分布式,数据存储。例如HyperDex数据库就是他的其中一个项目之一. 《Scalable, Secure, and Highly Available Distributed File Access》介绍:来自卡内基梅隆如何构建可扩展的、安全、高可用性的分布式文件系统,其他papers. 《Distributed (Deep) Machine Learning Common》介绍:分布式机器学习常用库. 《The Datacenter as a Computer》介绍:介绍了如何构建仓储式数据中心,尤其是对于现在的云计算,分布式学习来说很有帮助.本书是Synthesis Lectures on Computer Architecture系列的书籍之一,这套丛书还有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》,Memory Systems Cache, DRAM, Disk 等 《helsinki:Distributed Systems Course slider》介绍:来自芬兰赫尔辛基的分布式系统课程课件:什么是分布式,复制,一致性,容错,同步,通信. 《TiDB is a distributed SQL database》介绍:分布式数据库TiDB,Golang开发. 《S897: Large-Scale Systems》介绍:课程资料:大规模系统. 《Large-scale L-BFGS using MapReduce》介绍:使用MapReduce进行大规模分布式集群环境下并行L-BFGS. 《Twitter是如何构建高性能分布式日志的》介绍:Twitter是如何构建高性能分布式日志的. 《Distributed Systems: When Limping Hardware Is Worse Than Dead Hardware》介绍:在分布式系统中某个组件彻底死了影响很小，但半死不活（网络/磁盘），对整个系统却是毁灭性的. 《Tera - 高性能、可伸缩的结构化数据库》介绍:来自百度的分布式数据库. 《SequoiaDB is a distributed document-oriented NoSQL Database》介绍:SequoiaDB分布式文档数据库开源. 《Readings in distributed systems》介绍:这个网址里收集了一堆各TOP大学分布式相关的课程. 《Paxos vs Raft》介绍:这个网站是Raft算法的作者为教授Paxos和Raft算法做的，其中有两个视频链接，分别讲上述两个算法.参考阅读:关于Paxos的历史 《A Scalable Content-Addressable Network》介绍:A Scalable Content-Addressable Network. 《500 Lines or Less》介绍:这个项目其实是一本书（ The Architecture of Open Source Applications）的源代码附录，是一堆大牛合写的. 《MIT 6.824 Distributed System》介绍:这只是一个课程主页，没有上课的视频，但是并不影响你跟着它上课：每一周读两篇课程指定的论文，读完之后看lecture-notes里对该论文内容的讨论，回答里面的问题来加深理解，最后在课程lab里把所看的论文实现。当你把这门课的作业刷完后，你会发现自己实现了一个分布式数据库. 《HDFS-alike in Go》介绍:使用go开发的分布式文件系统. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上关于学习分布式的资源问答. 《SeaweedFS is a simple and highly scalable distributed file system》介绍:SeaweedFS是使用go开发的分布式文件系统项目,代码简单，逻辑清晰. 《Codis - yet another fast distributed solution for Redis》介绍:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 《Paper: Coordination Avoidance In Distributed Databases By Peter Bailis》介绍:Coordination Avoidance In Distributed Databases. 《从零开始写分布式数据库》介绍:本文以TiDB 源码为例. 《what we talk about when we talk about distributed systems》介绍:分布式系统概念梳理,为分布式系统涉及的主要概念进行了梳理. 《Distributed locks with Redis》介绍:使用Redis实现分布式锁. 《CS244b: Distributed Systems》介绍: 斯坦福2014年秋季分布式课程. 《RAMP Made Easy》介绍: 分布式的“读原子性”. 《Strategies and Principles of Distributed Machine Learning on Big Data》介绍: 大数据分布式机器学习的策略与原理. 《Distributed Systems: What is the CAP theorem?》介绍: 分布式CAP法则. 《How should I start to learn distributed storage system as a beginner?》介绍: 新手如何步入分布式存储系统. 《Cassandra - A Decentralized Structured Storage System》介绍: 分布式存储系统Cassandra剖析,推荐白皮书Introduction to Apache Cassandra. 《What is the best resource to learn about distributed systems?》介绍: 分布式系统学习资源. 《What are some high performance TCP hacks?》介绍: 一些高性能TCP黑客技巧. 《Maintaining performance in distributed systems》介绍:分布式系统性能提升. 《A simple totally ordered broadcast protocol》介绍:Benjamin Reed 和 Flavio P.Junqueira 所著论文,对Zab算法进行了介绍,zab算法是Zookeeper保持数据一致性的核心,在国内有很多公司都使用zookeeper做为分布式的解决方案.推荐与此相关的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice. 《zFS - A Scalable Distributed File System Using Object Disk》介绍:可扩展的分布式文件系统ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study. 《A Distributed Haskell for the Modern Web》介绍:分布式Haskell在当前web中的应用. 《Reasoning about Consistency Choices in Distributed Systems》介绍:POPL2016的论文,关于分布式系统一致性选择的论述,POPL所接受的论文,github上已经有人整理. 《Paxos Made Simple》介绍:Paxos让分布式更简单.译文.参考阅读:关于Paxos的历史,understanding Paxos part1,Understanding Paxos – Part 2.Quora: What is a simple explanation of the Paxos algorithm?,Tutorial Summary: Paxos Explained from Scratch,Paxos algorithm explained, part 1: The essentials,Paxos algorithm explained, part 2: Insights 《Consensus Protocols: Paxos》介绍:分布式系统一致性协议:Paxos.参考阅读:关于Paxos的历史 《Consensus on Transaction Commit》介绍：事务提交的一致性探讨. 《The Part-Time Parliaments》介绍:在《The Part-Time Parliament》中描述了基本协议的交互过程。在基本协议的基础上完善各种问题得到了最终的议会协议。 为了让人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001发表了《Paxos Made Simple》，以更平直的口头语言描述了Paxos，而没有包含正式的证明和数学术语。《Paxos Made Simple》中，将算法的参与者更细致的划分成了几个角色：Proposer、Acceptor、Learner。另外还有Leader和Client.参考阅读:关于Paxos的历史 《Paxos Made Practical》介绍:看这篇论文时可以先看看理解Paxos Made Practical. 《PaxosLease: Diskless Paxos for Leases》介绍：PaxosLease：实现租约的无盘Paxos算法,译文. 《Paxos Made Moderately Complex》介绍：Paxos算法实现,译文,同时推荐42 Paxos Made Moderately Complex. 《Hadoop Reading List》介绍：Hadoop学习清单. 《Hadoop Reading List》介绍：Hadoop学习清单. 《2010 NoSQL Summer Reading List》介绍：NoSQL知识清单,里面不仅仅包含了数据库阅读清单还包含了分布式系统资料. 《Raft: Understandable Distributed Consensus》介绍：Raft可视化图帮助理解分布式一致性 《Etcd:Distributed reliable key-value store for the most critical data of a distributed system》介绍：Etcd分布式Key-Value存储引擎 《Understanding Availability》介绍：理解peer-to-peer系统中的可用性究竟是指什么.同时推荐基于 Peer-to-Peer 的分布式存储系统的设计 《Process structuring, synchronization, and recovery using atomic actions》介绍：经典论文 《Programming Languages for Parallel Processing》介绍：并行处理的编程语音 《Analysis of Six Distributed File Systems》介绍：此篇论文对HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六个存储系统做了详细分析.如果是自己研发对应的存储系统推荐先阅读此篇论文 《A Survey of Distributed File Systems》介绍：分布式文件系统综述 《Concepts of Concurrent Programming》介绍：并行编程的概念,同时推荐卡内基梅隆FTP 《Concurrency Control Performance Modeling:Alternatives and Implications》介绍：并发控制性能建模：选择与意义 《Distributed Systems - Concepts and Design 5th Edition》介绍：ebook分布式系统概念与设计 《分布式系统设计的形式方法》介绍：分布式系统设计的形式方法 《互斥和选举算法》介绍：互斥和选举算法 《Actors：A model Of Concurrent Cornputation In Distributed Systems》介绍：经典论文 《Security Engineering: A Guide to Building Dependable Distributed Systems》介绍：如何构建一个安全可靠的分布式系统,About the Author,Bibliography:文献资料,章节访问把链接最后的01换成01-27即可 《15-712 Advanced and Distributed Operating Systems》介绍：卡内基梅隆大学的分布式系统博士生课程主页,有很丰富的资料 《Dapper, Google's Large-Scale Distributed Systems Tracing Infrastructure》介绍：Dapper，大规模分布式系统的跟踪系统,译文,译文对照 《CS262a: Advanced Topics in Computer Systems》介绍：伯克利大学计算机系统进阶课程,内容有深度,涵盖分布式,数据库等内容 《Egnyte Architecture: Lessons Learned In Building And Scaling A Multi Petabyte Distributed System》介绍：PB级分布式系统构建/扩展经验 《CS162: Operating Systems and Systems Programming》介绍：伯克利大学计算机系统课程:操作系统与系统编程 《MDCC: Multi-Data Center Consistency》介绍：MDCC主要解决跨数据中心的一致性问题中间件,一种新的协议 《Research at Google:Distributed Systems and Parallel Computing》介绍：google公开对外发表的分布式系统与并行计算论文 《HDFS Architecture Guide》介绍：分布式文件系统HDFS架构 《ActorDB distributed SQL database》介绍：分布式 Key/Value数据库 《An efficient data location protocol for self-organizing storage clusters》介绍：是著名的Ceph的负载平衡策略，文中提出的几种策略都值得尝试，比较赞的一点是可以对照代码体会和实践,如果你还需要了解可以看看Ceph:一个 Linux PB 级分布式文件系统,除此以外,论文的引用部分也挺值得阅读的,同时推荐Ceph: A Scalable, High-Performance Distributed File System 《A Self-Organizing Storage Cluster for Parallel Data-Intensive Applications》介绍：Surrento的冷热平衡策略就采用了延迟写技术 《HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems》介绍：对于分布式存储系统的元数据管理. 《Server-Side I/O Coordination for Parallel File Systems》介绍：服务器端的I/O协调并行文件系统处理,网络,文件存储等都会涉及到IO操作.不过里面涉及到很多技巧性的思路在实践时需要斟酌 《Distributed File Systems: Concepts and Examples》介绍：分布式文件系统概念与应用 《CSE 221: Graduate Operating Systems》介绍：加利福尼亚大学的研究生操作系统课程主页，论文很值得阅读 《S4: Distributed Stream Computing Platform》介绍：Yahoo出品的流式计算系统，目前最流行的两大流式计算系统之一（另一个是storm），Yahoo的主要广告计算平台 《Pregel: a system for large-scale graph processing》介绍：Google的大规模图计算系统，相当长一段时间是Google PageRank的主要计算系统，对开源的影响也很大（包括GraphLab和GraphChi） 《GraphLab: A New Framework for Parallel Machine Learning》介绍：CMU基于图计算的分布式机器学习框架，目前已经成立了专门的商业公司，在分布式机器学习上很有两把刷子，其单机版的GraphChi在百万维度的矩阵分解都只需要2~3分钟； 《F1: A Distributed SQL Database That Scales》介绍：这篇论文是Google 2013年发表的，介绍了F1的架构思路，13年时就开始支撑Google的AdWords业务，另外两篇介绍文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1 《Cockroach DB:A Scalable, Survivable, Strongly-Consistent SQL Database》介绍：CockroachDB ：一个可伸缩的、跨地域复制的，且支持事务的数据存储,InfoQ介绍,Design and Architecture of CockroachDb 《Multi-Paxos: An Implementation and Evaluation》介绍：Multi-Paxos实现与总结，此外推荐Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF 《Zab: High-performance broadcast for primary-backup systems》介绍：一致性协议zab分析 《A Distributed Hash Table》介绍：分布式哈希算法论文,扩展阅读Introduction to Distributed Hash Tables,Distributed Hash Tables 《Comparing the performance of distributed hash tables under churn》介绍：分布式hash表性能的Churn问题 《Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web》介绍：分布式系统的CAP问题,推荐Perspectives on the CAP Theorem.对CAP理论的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem 《F2FS: A New File System for Flash Storage》介绍：闪存存储文件系统F2FS 《Better I/O Through Byte-Addressable, Persistent Memory》介绍：微软发表的关于i/o访问优化论文 《tmpfs: A Virtual Memory File System》介绍：虚拟内存文件系统tmpfs 《BTRFS: The Linux B-tree Filesystem》介绍：Linux B-tree文件系统. 《Akamai technical publication》介绍：Akamai是全球最大的云计算机平台之一，承载了全球15-30%网络流量,如果你是做CDN或者是云服务,这个里面的论文会给你很有帮助.例如这几天看facebook开源的osquery。找到通过db的方式运维,找到Keeping Track of 70,000+ Servers: The Akamai Query System这篇论文，先看论文领会思想，然后再使用工具osquery实践 《BASE: An Acid Alternative》介绍：来自eBay 的解决方案,译文Base: 一种Acid的替代方案,应用案例参考保证分布式系统数据一致性的6种方案 《A Note on Distributed Computing》介绍：Jim Waldo和Sam Kendall等人共同撰写了一篇非常有名的论文“分布式计算备忘录”，这篇论文在Reddit上被人推荐为“每个程序员都应当至少读上两篇”的论文。在这篇论文中，作者表示“忽略本地计算与分布式计算之间的区别是一种危险的思想”，特别指出了Emerald、Argus、DCOM以及CORBA的设计问题。作者将这些设计问题归纳为“三个错误的原则”： “对于某个应用来说，无论它的部署环境如何，总有一种单一的、自然的面向对象设计可以符合其需求。” “故障与性能问题与某个应用的组件实现直接相关，在最初的设计中无需考虑这些问题。” “对象的接口与使用对象的上下文无关”. 《Distributed Systems Papers》介绍：分布式系统领域经典论文列表. 《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》介绍：Consistent Hashing算法描述. 《SIGMOD 2016: Accepted Research Papers》介绍：SIGMOD是世界上最有名的数据库会议之一,最具有权威性,收录论文审核非常严格.2016年的SIGMOD 会议照常进行,上面收录了今年SIGMOD收录的论文,把题目输入google中加上pdf就能找到,很多论文值得阅读,SIGMOD 2015 《Notes on CPSC 465/565: Theory of Distributed Systems》介绍:耶鲁大学的分布式系统理论课程笔记 《Distributed Operating System Doc PDF》介绍:分布式系统文档资源（可下载） 《Anatomy of a database system》介绍:数据库系统剖析，这本书是由伯克利大学的Joseph M. Hellerstein和M. Stonebraker合著的一篇论文.对数据库剖析很有深度.除此以外还有一篇文章Architecture of a Database System。数据库系统架构,厦门大学的数据库实验室教授林子雨组织过翻译 《A Relational Model of Data for Large Shared Data Banks》介绍:数据库关系模型论文 《RUC Innovative data systems reaserch lab recommand papers》介绍:中国人民大学数据研究实验室推荐的数据库领域论文 《A Scalable Distributed Information Management System》介绍:构建可扩展的分布式信息管理系统 《Distributed Systems in Haskell》介绍:Haskell中的分布式系统开发 《Large-scale cluster management at Google with Borg》介绍:Google使用Borg进行大规模集群的管理,伯克利大学ppt介绍,中文版 《Lock Free Programming Practice》介绍:并发编程（Concurrency Programming）资料,主要涵盖lock free数据结构实现、内存回收方法、memory model等备份链接 密码: xc5j 《Distributed Algorithms Lecture Notes for 6.852》介绍:Nancy Lynch's的分布式算法研究生课程讲义 《Distributed Algorithms for Topic Models》介绍:分布式算法主题模型. 《RecSys - ACM Recommender Systems》介绍:世界上非常有名的推荐系统会议，我比较推荐接收的PAPER 《All Things Distributed》介绍:推荐一个博客,博主是Amazon CTO Werner Vogels,这是一个关注分布式领域的博客.大部分博文是关于在工业界应用. 《programming, database, distributed system resource list》介绍:这个Git是由阿里(alibaba)的技术专家何登成维护,主要是分布式数据库. 《Making reliable distributed systems in the presence of sodware errors》介绍:Erlang的作者Joe Armstrong撰写的论文，面对软件错误构建可靠的分布式系统.中文译版 《CS 525: Advanced Distributed Systems[Spring 2016]》介绍:伊利诺伊大学的Advanced Distributed Systems 里把各个方向重要papers（updated Spring 2015）列举出来，可以参考一下 《Distributed Algorithms》介绍:这是一本分布式算法电子书,作者是Jukka Suomela.讲述了多个计算模型,一致性,唯一标示,并发等. 《TinyLFU: A Highly Efficient Cache Admission Policy》介绍:当时是在阅读如何设计一个缓存系统时看到的，然后通过Google找到了这一篇关于缓存策略的论文，它是LFU的改良版,中文介绍.如果有兴趣可以看看Golang实现版。结合起来可能会帮助你理解 《6.S897: Large-Scale Systems》介绍:斯坦福大学给研究生开的分布式系统课程。教师是 spark 作者 matei. 能把这些内容真正理解透，分布式系统的功力就很强了。 《学习分布式系统需要怎样的知识？》介绍:[怎么学系列]学习分布式系统需要怎样的知识？ 《Distributed systems theory for the distributed systems engineer》介绍:分布式系统工程师的分布式系统理论 《A Distributed Systems Reading List》介绍:分布式系统论文阅读列表 《Distributed Systems Reading Group》介绍:麻省理工大学分布式系统小组，他们会把平时阅读到的优秀论文分享出来。虽然有些论文本页已经收录，但是里面的安排表schedule还是挺赞的 《Scalable Software Architecture》介绍:分布式系统、可扩展性与系统设计相关报告、论文与网络资源汇总. 《MapReduce&Hadoop resource》介绍:MapReduce&Hadoop相关论文，涉及分布式系统设计，性能分析，实践，优化等多个方面 《Distributed Systems: Principles and Paradigms(second edtion)》介绍:分布式系统原理与范型第二版,课后解答 《Distributed Systems Seminar's reading list for Spring 2017》介绍:分布式系统研讨会论文阅读列表 《A Critique of the CAP Theorem》介绍:这是一篇评论CAP定理的论文，学习CAP很有帮助,推荐阅读评论文章"A Critique of the CAP Theorem" 《Evolving Distributed Systems》介绍:推荐文章不断进化的分布式系统.