丁威_个人页

Alibaba Sentinel 限流与熔断初探(技巧篇)

源码分析Dubbo服务注册与发现机制RegistryDirectory)

   RegistryDirectory，基于注册中心的服务发现，本文将重点探讨Dubbo是如何实现服务的自动注册与发现。从上篇文章，得知在消息消费者在创建服务调用器(Invoker)【消费者在初始时】时需要根据不同的协议，例如dubbo、registry(从注册中心获取服务提供者)来构建，其调用的方法为Protocol#refer，基于注册中心发现服务提供者的实现协议为RegistryProtocol。

源码分析Dubbo Invoker概述----服务发现、集群、负载均衡、路由体系

Invoker,负载网络调用组件，底层依懒与网络通信，Invoker主要负责服务调用，自然与路由（比如集群）等功能息息相关，本节先从整体上把控一下Dubbo服务调用体系，服务发现、集群、负载均衡、路由机制等整个知识体系，梳理整理Dubbo Invoker整个类图如下： 主要有如下接口群 Invocation(调用上下文环境) Invocation：1、String getMethodName() 获取调用方法名。

一次 RocketMQ 进程自动退出排查经验分享（实战篇）

1、背景 公司一个 RocketMQ 集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。 2、故障分析 出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。

源码分析Dubbo服务消费端启动流程

通过前面文章详解，我们知道Dubbo服务消费者标签dubbo:reference最终会在Spring容器中创建一个对应的ReferenceBean实例，而ReferenceBean实现了Spring生命周期接口：InitializingBean，接下来应该看一下其afterPropertiesSet方法的实现。

源码阅读技巧篇：RocketMQ DLedger 多副本即主从切换专栏回顾

RocketMQ DLedger 多副本即主从切换专栏总共包含9篇文章，时间跨度大概为2个月的时间，笔者觉得授人以鱼不如授人以渔，借以这个系列来展示该系列的创作始末，展示笔者阅读源码的技巧。 首先在下决心研读 RocketMQ DLedger 多副本(主从切换)的源码之前，首先还是要通过官方的分享、百度等途径对该功能进行一些基本的了解。

源码分析Dubbo服务提供者启动流程-下篇

本文继续上文Dubbo服务提供者启动流程，在上篇文章中详细梳理了基于dubbo spring文件的配置方式，Dubbo是如何加载配置文件，服务提供者dubbo:service标签服务暴露全流程，本节重点关注RegistryProtocol#export中调用doLocalExport方法，其实主要是根据各自协议，服务提供者建立网络服务器，在特定端口建立监听，监听来自消息消费端服务的请求。

源码分析Dubbo服务提供者启动流程-上篇(带流程图)

本节将详细分析Dubbo服务提供者的启动流程，请带着如下几个疑问进行本节的阅读，因为这几个问题将是接下来几篇文章分析的重点内容。 什么时候建立与注册中心的连接。 服务提供者什么时候向注册中心注册服务。

源码分析Dubbo前置篇-寻找注册中心、服务提供者、服务消费者功能入口

本节主要阐述如下两个问题： Dubbo自定义标签实现。 dubbo通过Spring加载配置文件后，是如何触发注册中心、服务提供者、服务消费者按照Dubbo的设计执行相关的功能。 所谓的执行相关功能如下： 注册中心启动，监听消息提供者的注册服务、接收消息消费者的服务订阅（服务注册与发现机制）。

RocketMQ 平滑升级到主从切换实战

本文主要介绍如何将 RocketMQ 集群从原先的主从同步升级到主从切换。 首先介绍与 DLedger 多副本即 RocketMQ 主从切换相关的核心配置属性，然后尝试搭建一个主从同步集群，再从原先的 RocketMQ 集群平滑升级到 DLedger 集群的示例，并简单测试一下主从切换功能。

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

DLedger 基于 raft 协议，故天然支持主从切换，即主节点(Leader)发生故障，会重新触发选主，在集群内再选举出新的主节点。 RocketMQ 中主从同步，从节点不仅会从主节点同步数据，也会同步元数据，包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。

RocketMQ 整合 DLedger(多副本)即主从切换实现平滑升级的设计技巧

源码分析 RocketMQ DLedger 多副本系列已经进行到第 8 篇了，前面的章节主要是介绍了基于 raft 协议的选主与日志复制，从本篇开始将开始关注如何将 DLedger 应用到 RocketMQ中。

基于 raft 协议的 RocketMQ DLedger 多副本日志复制设计原理

上一篇 源码分析 RocketMQ DLedger(多副本) 之日志复制(传播) ，可能有不少读者朋友们觉得源码阅读较为枯燥，看的有点云里雾里，本篇将首先梳理一下 RocketMQ DLedger 多副本关于日志复制的三个核心流程图，然后再思考一下在异常情况下如何保证数据一致性。

源码分析ElasticJob任务运行事件监听器

在任务执行的前后，ElasticJob可以提供扩展，其主要类图如下：ElastciJobListener：elasticJob任务执行事件监听器，提供如下两个方法： void beforeJobExecuted(final ShardingContexts shardingContexts); 在任务执行之前调用，shardingContexts为分片上下文信息。

源码分析ElasticJob任务错过机制(misfire)与幂等性

任务在调度执行中，由于某种原因未执行完毕，下一次调度任务触发后，在同一个Job实例中，会出现两个线程处理同一个分片上的数据，这样就会造成两个线程可能处理到相同的数据。为了避免同一条数据可能会被多次执行的问题，ElasticJob引入幂等机制，确保同一条数据不会再被多个Job同时处理，也避免同一条数据在同一个Job实例的多个线程处理。

源码分析ElasticJob故障失效转移机制

本节将探讨ElasticJob故障失效转移机制。我们知道ElasticJob是一款基于Quartz的分布式任务调度框架，这里的分布式是数据的分布式，ElasticJob的核心设计理念是一个任务在多个节点上执行，每个节点处理一部分数据（任务待处理数据分片）。

源码分析ElasticJob分片机制(带分片机制流程图)

本文将重点分析 ElasticJob 的分片机制： ElasticJob分片工作机制： ElasticJob在启动时，首先会启动是否需要重新分片的监听器。代码见：ListenerManager#startAllListeners {...; shardingListenerManager.start();...}。

源码分析ElasticJob选主实现原理

ElasticJob各分布式调度服务器有两个角色：主服务器、从服务器。这里主从服务器与数据库的主从同步不一样，也不是传统意义上的主备，从执行调度任务这一视角来看ElasticJob主从服务器的地位是相同的，都是任务调度执行服务器（彼此之间共同组成一个集群平等的执行分配给自己的数据执行调度任务），主从服务器共同构成任务调度的分片节点。

源码分析Elastic-Job前置篇二-基于Spring启动序列图与核心类图

本文主要目的：简单梳理了基于 Spring ElasticJob 的启动流程，从下文开始，将重点剖析 ElasticJob 的核心实现细节，例如选主、分片、失效转移机制等等。 1、在Spring中使用Elastic-Job的示例如下： <job:simple id="areaSyncJob" cl...

源码分析Elastic-Job前置篇：Spring自定义命名空间原理

在 Spring 中使用 Elastic-Job 的示例如下：

源码分析 RocketMQ DLedger(多副本) 之日志复制(传播)

本文紧接着 源码分析 RocketMQ DLedger(多副本) 之日志追加流程 ，继续 Leader 处理客户端 append 的请求流程中最至关重要的一环：日志复制。 DLedger 多副本的日志转发由 DLedgerEntryPusher 实现，接下来将对其进行详细介绍。

Mybatis一二级缓存实现原理与使用指南

Mybatis 与 Hibernate 一样，支持一二级缓存。一级缓存指的是 Session 级别的缓存，即在一个会话中多次执行同一条 SQL 语句并且参数相同，则后面的查询将不会发送到数据库，直接从 Session 缓存中获取。

源码分析Mybatis插件(Plugin)机制与实战

源码分析Mybatis系列目录：1、源码分析Mybatis MapperProxy初始化之Mapper对象的扫描与构建2、源码分析Mybatis MappedStatement的创建流程3、Mybatis执行SQL的4大基础组件详解4、源码解析MyBatis Sharding-Jdbc SQL语句执行流程详解 有了《Mybatis执行SQL的4大基础组件详解》 与 《源码解析MyBatis Sharding-Jdbc SQL语句执行流程详解》两篇文章的铺垫，本文将直奔主题：Mybatis插件机制。

源码解析MyBatis Sharding-Jdbc SQL语句执行流程详解

本文以SQL执行序列图开始，以SQL执行流程图结束。详细介绍了Mybatis Sharding-jdbc SQL语句的执行流程，重点讲述了java.sql.Connection、java.sql.Statement对象的创建流程、SQL结果集的处理，并重点阐述了 Mybaits与Sharding-jdbc整合时分库分表（sharding-jdbc的路由机制的触发时机）。

Mybatis执行SQL的4大基础组件详解

本文作为下一篇《源码分析Mybatis整合ShardingJdbc SQL执行流程》的前置篇，重点介绍Executor、StatementHandler、ParameterHandler、ResultSetHandler的具体职责，以类图为基础并详细介绍其核心方法的作用，然后详细介绍了这些对象是如何创建，并引出Mybatis拆件机制。

源码分析Mybatis MappedStatement的创建流程

上文源码分析Mybatis MapperProxy创建流程重点阐述MapperProxy的创建流程，但并没有介绍.Mapper.java(UserMapper.java)是如何与Mapper.xml文件中的SQL语句是如何建立关联的。

源码分析Mybatis MapperProxy初始化之Mapper对象的扫描与构建

温馨提示：本文基于Mybatis.3.x版本。 MapperScannerConfigurer，Spring整合Mybatis的核心类，其作用是扫描项目中Dao类，将其创建为Mybatis的Maper对象即MapperProxy对象。

源码分析 RocketMQ DLedger(多副本) 之日志追加流程

上一篇我们详细分析了源码分析 RocketMQ DLedger 多副本之 Leader 选主，本文将详细分析日志复制的实现。 根据 raft 协议可知，当整个集群完成 Leader 选主后，集群中的主节点就可以接受客户端的请求，而集群中的从节点只负责从主节点同步数据，而不会处理读写请求，与M-S结构的读写分离有着巨大的区别。

RocketMQ 主题扩分片后遇到的坑

消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 1、案情回顾 1.

源码分析 RocketMQ DLedger 多副本存储实现

详细介绍了RocketMQ DLedger 多副本存储实现部分，主要参考RocketMQ 存储部分的设计理念，并重点阐述 DLedger 消除存储格式、索引文件存储格式，诸如内存映射、刷盘、过期文件删除、文件加载与恢复由于在《RocketMQ技术内幕》中详细介绍，故本文并未重复介绍。

源码分析 RocketMQ DLedger 多副本之 Leader 选主

本文将按照《RocketMQ 多副本前置篇：初探raft协议》的思路来学习RocketMQ选主逻辑。首先先回顾一下关于Leader的一些思考： 节点状态需要引入3种节点状态：Follower(跟随者)、Candidate(候选者)，该状态下的节点会发起投票请求，Leader(主节点)。

RocketMQ一个新的消费组初次启动时从何处开始消费呢？

本文详细介绍一个新的消费组在启动时从何处开始消费，并信息介绍了CONSUME_FROM_MAX_OFFSET、CONSUME_FROM_FIRST_OFFSET、CONSUME_FROM_TIMESTAMP其计算逻辑，解答CONSUME_FROM_MAX_OFFSET在什么情况下不生效并如何解决。

RocketMQ消息轨迹-设计篇

RocketMQ 消息轨迹主要包含两篇文章：设计篇与源码分析篇，本节将详细介绍RocketMQ消息轨迹-设计相关。 RocketMQ消息轨迹，主要跟踪消息发送、消息消费的轨迹，即详细记录消息各个处理环节的日志，从设计上至少需要解决如下三个核心问题： 消费轨迹数据格式 记录消息轨迹(消息日志) 消息轨迹数据存储在哪？ 1、消息轨迹数据格式 RocketMQ4.5版本消息轨迹主要记录如下信息： traceType跟踪类型，可选值：Pub(消息发送)、SubBefore(消息拉取到客户端，执行业务定义的消费逻辑之前)、SubAfter(消费后)。

源码分析RocketMQ ACL实现机制

有关RocketMQ ACL的使用请查看上一篇《RocketMQ ACL使用指南》，本文从源码的角度，分析一下RocketMQ ACL的实现原理。 备注：RocketMQ在4.4.0时引入了ACL机制，本文代码基于RocketMQ4.5.0版本。

RocketMQ ACL使用指南

详细介绍RocketMQ acl访问控制列表的流程图、plain_acl.yml文件各配置项的详细介绍、权限匹配验证流程与acl使用示例。

RocketMQ 主从同步若干问题答疑

主，从服务器都在运行过程中，消息消费者是从主拉取消息还是从从拉取？当消息消费者向从服务器拉取消息后，会一直从从服务器拉取？主从服务消息消费进是如何同步的？

Elasticsearch Index Aliases详解

index aliases，索引别名，有点类似名称映射，一个索引别名可以映射多个真实索引，索引别名在定义时还支持filter，构成同一个索引，不同的视图。 思考：一个索引别名可以映射成多个索引，那如果向一个别名添加一个文档时，会在该别名下对应的所有索引下都创建一个文档？ 1、如何创建索引别名 PO...

Elasticsearch Index Setting一览表

索引的配置项按是否可以更改分为static属性与动态配置，所谓的静态配置即索引创建后不能修改。 1、索引静态配置 index.number_of_shards索引分片的数量。在ES层面可以通过es.index.max_number_of_shards属性设置索引最大的分片数，默认为1024，index.number_of_shards的默认值为Math.min(es.index.max_number_of_shards,5)，故通常默认值为5。

elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)

本节详细介绍了ES Pipeline Aggregation 管道聚合的使用方法，重点介绍了Avg Bucket Aggregation、Percentiles Bucket Aggregation、Cumulative Sum Aggregation、Bucket Sort Aggregation、Max Bucket Aggregation、Min Bucket Aggregation、Sum Bucket Aggregation、Stats Bucket Aggregation。

Es Bucket聚合(桶聚合) 第二篇-Terms Aggregation与Significant Terms Aggregation

本章将介绍elasticsearch最重要的桶聚合terms aggregation。 1、Terms Aggregation 多值聚合，根据库中的文档动态构建桶。基于词根的聚合，如果聚合字段是text的话，会对一个一个的词根进行聚合，通常不会在text类型的字段上使用聚合，对标关系型数据中的(Group By)。

Elasticsearch Bucket聚合(桶聚合) 第一篇(常用桶聚合一览)

本篇将开始介绍Elasticsearch Bucket聚合(桶聚合)。 Buket Aggregations(桶聚合)不像metrics Aggregations(度量聚合)那样计算字段上的度量，而是创建文档桶，每个文件桶有效地定义一个文档集。

ES度量聚合(ElasticSearch Metric Aggregations)

从本篇将开始进入ES系列的聚合部分(Aggregations)。 本篇重点介绍Elasticsearch Metric Aggregations(度量聚合)。 Metric聚合，主要针对数值类型的字段，类似于关系型数据库中的sum、avg、max、min等聚合类型。

Elasticsearch Search API之(Request Body Search 查询主体)

详细介绍了es三种分页方式、排序、from、size、source filter、dov values fields、post filter、高亮显示、rescoring、search type、scroll、preference、preference、explain、version、index boost、min_score、names query、Inner hits、field collapsing、Search After。

RocketMQ 消息发送system busy、broker busy原因分析与解决方案

1、现象 最近收到很多RocketMQ使用者，反馈生产环境中在消息发送过程中偶尔会出现如下4个错误信息之一：1）[REJECTREQUEST]system busy, start flow control for a while2）too many requests and system thre.

RocketMQ实战：生产环境中，autoCreateTopicEnable为什么不能设置为true

1、现象 很多网友会问，为什么明明集群中有多台Broker服务器，autoCreateTopicEnable设置为true，表示开启Topic自动创建，但新创建的Topic的路由信息只包含在其中一台Broker服务器上，这是为什么呢？ 期望值：为了消息发送的高可用，希望新创建的Topic在集群中的每台Broker上创建对应的队列，避免Broker的单节点故障。

elasticsearch使用指南之Elasticsearch Search API 概述与URI Search

本节主要对elasticsearch search api做一个简单的介绍，重点介绍了QUERY_THEN_FETCH、QUERY_AND_FETCH、DFS_QUERY_THEN_FETCH三种搜索类型的工作方式。

生产环境JVM内存溢出案例分析

线上JVM内存溢出案例分析详解，本文详细的介绍了生产环境JVM内存溢出的故障分析过程，更是提供在故障发生之前如何快速隔离故障源、防止故障扩散等方法。

elasticsearch使用指南之Elasticsearch Dynamic Mapping(动态映射机制)

本文详细介绍了elasticsearch的动态类型映射机制，并详细介绍了动态映射模板(Dynamic templates)。

Elasticsearch使用指南之Elasticsearch Mapping parameters(主要参数一览)

本文详细介绍了elasticsearch创建索引时可指定的参数，特别介绍了copy_to、doc_values、fielddata、index_options、position_increment_gap、ignore_malformed等详细介绍。

elasticsearch使用指南之Elasticsearch Document Multi Get API、Bulk API详解、原理与示例

本文详细介绍如何elasticsearch Multi Get API与Bulk API，并介绍其基本运行原理，最后给出各个API的java示例。