ta7lhdiw3omdo_社区达人页

2022年05月

• 05.13 11:39:20
  发表了文章 2022-05-13 11:39:20

  SpringBoot2.x入门：引入web模块

  这篇文章是《SpringBoot2.x入门》专辑的「第3篇」文章，使用的SpringBoot版本为2.3.1.RELEASE，JDK版本为1.8。 主要介绍SpringBoot的web模块引入，会相对详细地分析不同的Servlet容器（如Tomcat、Jetty等）的切换，以及该模块提供的SpringMVC相关功能的使用。

  
• 05.13 11:35:04
  发表了文章 2022-05-13 11:35:04

  使用Redis实现UA池

  最近忙于业务开发、交接和游戏，加上碰上了不定时出现的犹豫期和困惑期，荒废学业了一段时间。天冷了，要重新拾起开始下阶段的学习了。之前接触到的一些数据搜索项目，涉及到请求模拟，基于反爬需要使用随机的User Agent，于是使用Redis实现了一个十分简易的UA池。

  
• 05.13 11:31:12
  发表了文章 2022-05-13 11:31:12

  SpringBoot2.x入门：快速创建一个SpringBoot应用

  这篇文章是《SpringBoot2.x入门》专辑的「第2篇」文章，使用的SpringBoot版本为2.3.1.RELEASE，JDK版本为1.8。

  
• 05.13 11:23:53
  发表了文章 2022-05-13 11:23:53

  SpringBoot2.x入门：依赖管理

  这篇文章是《SpringBoot2.x入门》专辑的「第1篇」文章，使用的SpringBoot版本为2.3.1.RELEASE，JDK版本为1.8。主要梳理一下SpringBoot2.x的依赖关系和依赖的版本管理，依赖版本管理是开发和管理一个SpringBoot项目的前提。SpringBoot其实是通过starter的形式，对spring-framework进行装箱，消除了（但是兼容和保留）原来的XML配置，目的是更加便捷地集成其他框架，打造一个完整高效的开发生态。

  
• 05.13 11:19:30
  发表了文章 2022-05-13 11:19:30

  从源码上理解Netty并发工具-Promise

  最近一直在看Netty相关的内容，也在编写一个轻量级的RPC框架来练手，途中发现了Netty的源码有很多亮点，某些实现甚至可以用「苛刻」来形容。另外，Netty提供的工具类也是相当优秀，可以开箱即用。这里分析一下个人比较喜欢的领域，并发方面的一个Netty工具模块 - Promise。

  
• 05.12 23:01:16
  发表了文章 2022-05-12 23:01:16

  初识Redis的数据类型HyperLogLog

  未来一段时间开发的项目或者需求会大量使用到Redis，趁着这段时间业务并不太繁忙，抽点时间预习和复习Redis的相关内容。刚好看到博客下面的UV和PV统计，想到了最近看书里面提到的HyperLogLog数据类型，于是花点时间分析一下它的使用方式和使用场景（暂时不探究HyperLogLog的实现原理）。Redis中HyperLogLog数据类型是Redid 2.8.9引入的，使用的时候确保Redis版本>= 2.8.9。

  
• 05.12 22:54:27
  发表了文章 2022-05-12 22:54:27

  通过Nginx、Consul、Upsync实现动态负载均衡和服务平滑发布

  前段时间顺利地把整个服务集群和中间件全部从UCloud迁移到阿里云，笔者担任了架构和半个运维的角色。这里详细记录一下通过Nginx、Consul、Upsync实现动态负载均衡和服务平滑发布的核心知识点和操作步骤，整个体系已经在生产环境中平稳运行。编写本文使用的虚拟机系统为CentOS7.x，虚拟机的内网IP为192.168.56.200。

  
• 05.12 22:40:19
  发表了文章 2022-05-12 22:40:19

  深入理解Java的动态编译（下）

  笔者很久之前就有个想法：参考现有的主流ORM框架的设计，造一个ORM轮子，在基本不改变使用体验的前提下把框架依赖的大量的反射设计去掉，这些反射API构筑的组件使用「动态编译」加载的实例去替代，从而可以得到接近于直接使用原生JDBC的性能。于是带着这样的想法，深入学习Java的动态编译。编写本文的时候使用的是JDK11。

  
• 05.12 22:36:17
  发表了文章 2022-05-12 22:36:17

  深入理解Java的动态编译（上）

  笔者很久之前就有个想法：参考现有的主流ORM框架的设计，造一个ORM轮子，在基本不改变使用体验的前提下把框架依赖的大量的反射设计去掉，这些反射API构筑的组件使用「动态编译」加载的实例去替代，从而可以得到接近于直接使用原生JDBC的性能。于是带着这样的想法，深入学习Java的动态编译。编写本文的时候使用的是JDK11。

  
• 05.12 22:30:45
  发表了文章 2022-05-12 22:30:45

  SonarQube搭建手记

  这篇文章记录的是SonarQube服务搭建的详细过程，应用于云迁移后的PipleLine的代码扫描环节。

  
• 05.12 22:17:49
  发表了文章 2022-05-12 22:17:49

  通过transmittable-thread-local源码理解线程池线程本地变量传递的原理（下）

  想起很早之前写过ThreadLocal的源码分析相关文章，里面提到了ThreadLocal存在一个不能向预先创建的线程中进行变量传递的局限性，刚好有一位HSBC的技术大牛前同事提到了团队引入了transmittable-thread-local解决了此问题。借着这个契机，顺便clone了transmittable-thread-local源码进行分析，这篇文章会把ThreadLocal和InheritableThreadLocal的局限性分析完毕，并且从一些基本原理以及设计模式的运用分析transmittable-thread-local（下文简称为TTL）整套框架的实现。

  
• 05.12 21:59:57
  发表了文章 2022-05-12 21:59:57

  通过transmittable-thread-local源码理解线程池线程本地变量传递的原理（上）

  想起很早之前写过ThreadLocal的源码分析相关文章，里面提到了ThreadLocal存在一个不能向预先创建的线程中进行变量传递的局限性，刚好有一位HSBC的技术大牛前同事提到了团队引入了transmittable-thread-local解决了此问题。借着这个契机，顺便clone了transmittable-thread-local源码进行分析，这篇文章会把ThreadLocal和InheritableThreadLocal的局限性分析完毕，并且从一些基本原理以及设计模式的运用分析transmittable-thread-local（下文简称为TTL）整套框架的实现。

  
• 05.12 21:50:26
  发表了文章 2022-05-12 21:50:26

  基于Quartz编写一个可复用的分布式调度任务管理WebUI组件

  创业小团队，无论选择任何方案，都优先考虑节省成本。关于分布式定时调度框架，成熟的候选方案有XXL-JOB、Easy Scheduler、Light Task Scheduler和Elastic Job等等，其实这些之前都在生产环境使用过。但是想要搭建高可用的分布式调度平台，这些框架（无论是否去中心化）都需要额外的服务器资源去部署中心调度管理服务实例，甚至有时候还会依赖一些中间件如Zookeeper。

  
• 05.12 21:43:12
  发表了文章 2022-05-12 21:43:12

  通过源码理解Spring中@Scheduled的实现原理并且实现调度任务动态装载（下）

  最近的新项目和数据同步相关，有定时调度的需求。之前一直有使用过Quartz、XXL-Job、Easy Scheduler等调度框架，后来越发觉得这些框架太重量级了，于是想到了Spring内置的Scheduling模块。而原生的Scheduling模块只是内存态的调度模块，不支持任务的持久化或者配置（配置任务通过@Scheduled注解进行硬编码，不能抽离到类之外），因此考虑理解Scheduling模块的底层原理，并且基于此造一个简单的轮子，使之支持调度任务配置：通过配置文件或者JDBC数据源。
• 05.12 21:39:28
  发表了文章 2022-05-12 21:39:28

  通过源码理解Spring中@Scheduled的实现原理并且实现调度任务动态装载（上）

  最近的新项目和数据同步相关，有定时调度的需求。之前一直有使用过Quartz、XXL-Job、Easy Scheduler等调度框架，后来越发觉得这些框架太重量级了，于是想到了Spring内置的Scheduling模块。而原生的Scheduling模块只是内存态的调度模块，不支持任务的持久化或者配置（配置任务通过@Scheduled注解进行硬编码，不能抽离到类之外），因此考虑理解Scheduling模块的底层原理，并且基于此造一个简单的轮子，使之支持调度任务配置：通过配置文件或者JDBC数据源。

  
• 05.12 21:34:03
  发表了文章 2022-05-12 21:34:03

  基于Canal和Kafka实现MySQL的Binlog近实时同步

  近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。

  
• 05.12 21:22:57
  发表了文章 2022-05-12 21:22:57

  Levenshtein Distance（编辑距离）算法与使用场景

  已经很久没深入研究过算法相关的东西，毕竟日常少用，就算死记硬背也是没有实施场景导致容易淡忘。最近在做一个「脱敏数据和明文数据匹配」的需求的时候，用到了一个算法叫Levenshtein Distance Algorithm，本文对此算法原理做简单的分析，并且用此算法解决几个常见的场景。

  
• 05.12 21:17:48
  发表了文章 2022-05-12 21:17:48

  JSR310新日期API(完结篇)-生产实战

  前面通过五篇文章基本介绍完JSR-310常用的日期时间API以及一些工具类，这篇博文主要说说笔者在生产实战中使用JSR-310日期时间API的一些经验。

  
• 05.12 21:14:18
  发表了文章 2022-05-12 21:14:18

  编写一个可复用的SpringBoot应用运维脚本

  作为Java开发者，很多场景下会使用SpringBoot开发Web应用，目前微服务主流SpringCloud全家桶也是基于SpringBoot搭建的。SpringBoot应用部署到服务器上，需要编写运维管理脚本。本文尝试基于经验，总结之前生产使用的Shell脚本，编写一个可以复用的SpringBoot应用运维脚本，从而极大减轻SpringBoot应用启动、状态、重启等管理的工作量。本文的Shell脚本在CentOS7中正常运行，其他操作系统不一定适合。如果对一些基础或者原理不感兴趣可以拖到最后，直接拷贝脚本使用。

  
• 05.12 21:07:32
  发表了文章 2022-05-12 21:07:32

  ThreadLocal源码分析-黄金分割数的使用（下）

  最近接触到的一个项目要兼容新老系统，最终采用了ThreadLocal(实际上用的是InheritableThreadLocal)用于在子线程获取父线程中共享的变量。问题是解决了，但是后来发现对ThreadLocal的理解不够深入，于是顺便把它的源码阅读理解了一遍。在谈到ThreadLocal之前先卖个关子，先谈谈黄金分割数。本文在阅读ThreadLocal源码的时候是使用JDK8(1.8.0_181)。

  
• 05.12 21:01:56
  发表了文章 2022-05-12 21:01:56

  ThreadLocal源码分析-黄金分割数的使用（上）

  最近接触到的一个项目要兼容新老系统，最终采用了ThreadLocal(实际上用的是InheritableThreadLocal)用于在子线程获取父线程中共享的变量。问题是解决了，但是后来发现对ThreadLocal的理解不够深入，于是顺便把它的源码阅读理解了一遍。在谈到ThreadLocal之前先卖个关子，先谈谈黄金分割数。本文在阅读ThreadLocal源码的时候是使用JDK8(1.8.0_181)。

  
• 05.12 20:52:13
  发表了文章 2022-05-12 20:52:13

  理解和运用Java中的Lambda（下）

  回想一下，JDK8是2014年发布正式版的，到现在为（2020-02-08）止已经过去了5年多。JDK8引入的两个比较强大的新特性是Lambda表达式（下文的Lambda特指JDK提供的Lambda）和Stream，这两个强大的特性让函数式编程在Java开发中发扬光大。这篇文章会从基本概念、使用方式、实现原理和实战场景等角度介绍Lambda的全貌，其中还会涉及一些函数式编程概念、JVM一些知识等等。
• 05.12 20:49:21
  发表了文章 2022-05-12 20:49:21

  理解和运用Java中的Lambda（上）

  回想一下，JDK8是2014年发布正式版的，到现在为（2020-02-08）止已经过去了5年多。JDK8引入的两个比较强大的新特性是Lambda表达式（下文的Lambda特指JDK提供的Lambda）和Stream，这两个强大的特性让函数式编程在Java开发中发扬光大。这篇文章会从基本概念、使用方式、实现原理和实战场景等角度介绍Lambda的全貌，其中还会涉及一些函数式编程概念、JVM一些知识等等。

  
• 05.12 20:41:18
  发表了文章 2022-05-12 20:41:18

  理解RabbitMQ中的AMQP-0-9-1模型

  之前有个打算在学习RabbitMQ之前，把AMQP详细阅读一次，挑出里面的重点内容。后来找了下RabbitMQ的官方文档，发现了有一篇文档专门介绍了RabbitMQ中实现的AMQP模型部分，于是直接基于此文档和个人理解写下这篇文章。

  
• 05.12 20:31:38
  发表了文章 2022-05-12 20:31:38

  深入分析Java反射(八)-优化反射调用性能

  Java反射的API在JavaSE1.7的时候已经基本完善，但是本文编写的时候使用的是Oracle JDK11，因为JDK11对于sun包下的源码也上传了，可以直接通过IDE查看对应的源码和进行Debug。
• 05.12 20:28:59
  发表了文章 2022-05-12 20:28:59

  线程上下文类加载器ContextClassLoader内存泄漏隐患

  今天（2020-01-18）在编写Netty相关代码的时候，从Netty源码中的ThreadDeathWatcher和GlobalEventExecutor追溯到两个和线程上下文类加载器ContextClassLoader内存泄漏相关的Issue，两个Issue分别是两位前辈在2017-12的时候提出的，描述的是同一类问题，最后被Netty的负责人采纳，并且修复了对应的问题从而关闭了Issue。这里基于这两个Issue描述的内容，对ContextClassLoader内存泄漏隐患做一次复盘。

  
• 05.12 20:22:53
  发表了文章 2022-05-12 20:22:53

  一个基于RabbitMQ的可复用的事务消息方案

  分布式事务是微服务实践中一个比较棘手的问题，在笔者所实施的微服务实践方案中，都采用了折中或者规避强一致性的方案。参考Ebay多年前提出的本地消息表方案，基于RabbitMQ和MySQL（JDBC）做了轻量级的封装，实现了低入侵性的事务消息模块。本文的内容就是详细分析整个方案的设计思路和实施。

  
• 05.12 20:13:39
  发表了文章 2022-05-12 20:13:39

  一文彻底理解Redis序列化协议，你也可以编写Redis客户端（下）

  最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块，过程中顺便阅读了Redis服务序列化协议RESP，结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析。编写本文的使用使用的JDK版本为[8+]。
• 05.12 20:09:54
  发表了文章 2022-05-12 20:09:54

  一文彻底理解Redis序列化协议，你也可以编写Redis客户端（上）

  最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块，过程中顺便阅读了Redis服务序列化协议RESP，结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析。编写本文的使用使用的JDK版本为[8+]。
• 05.12 19:47:01
  发表了文章 2022-05-12 19:47:01

  项目架构级别规约框架Archunit调研

  最近在做一个新项目的时候引入了一个架构方面的需求，就是需要检查项目的编码规范、模块分类规范、类依赖规范等，刚好接触到，正好做个调研。

  
• 05.12 19:39:16
  发表了文章 2022-05-12 19:39:16

  一个低级错误引发Netty编码解码中文异常

  最近在调研Netty的使用，在编写编码解码模块的时候遇到了一个中文字符串编码和解码异常的情况，后来发现是笔者犯了个低级错误。这里做一个小小的回顾。

  
• 05.12 19:35:51
  发表了文章 2022-05-12 19:35:51

  Java线程生命周期与状态切换

  最近有点懒散，没什么比较有深度的产出。刚好想重新研读一下JUC线程池的源码实现，在此之前先深入了解一下Java中的线程实现，包括线程的生命周期、状态切换以及线程的上下文切换等等。编写本文的时候，使用的JDK版本是11。

  
• 05.12 19:23:44
  发表了文章 2022-05-12 19:23:44

  Redis高级客户端Lettuce详解（下）

  Lettuce是一个Redis的Java驱动包，初识她的时候是使用RedisTemplate的时候遇到点问题Debug到底层的一些源码，发现spring-data-redis的驱动包在某个版本之后替换为Lettuce。既然能被Spring生态所认可，Lettuce想必有过人之处，于是笔者花时间阅读她的官方文档，整理测试示例，写下这篇文章。
• 05.12 19:18:49
  发表了文章 2022-05-12 19:18:49

  Redis高级客户端Lettuce详解（上）

  Lettuce是一个Redis的Java驱动包，初识她的时候是使用RedisTemplate的时候遇到点问题Debug到底层的一些源码，发现spring-data-redis的驱动包在某个版本之后替换为Lettuce。既然能被Spring生态所认可，Lettuce想必有过人之处，于是笔者花时间阅读她的官方文档，整理测试示例，写下这篇文章。

  
• 05.12 18:41:44
  发表了文章 2022-05-12 18:41:44

  使用Redis实现延时任务(二)

  前一篇文章通过Redis的有序集合Sorted Set和调度框架Quartz实例一版简单的延时任务，但是有两个相对重要的问题没有解决：分片、监控。这篇文章的内容就是要完善这两个方面的功能。前置文章：使用Redis实现延时任务(一)。

  
• 05.12 18:33:47
  发表了文章 2022-05-12 18:33:47

  使用Redis实现延时任务(一)（下）

  最近在生产环境刚好遇到了延时任务的场景，调研了一下目前主流的方案，分析了一下优劣并且敲定了最终的方案。这篇文章记录了调研的过程，以及初步方案的实现。

  
• 05.12 18:29:22
  发表了文章 2022-05-12 18:29:22

  使用Redis实现延时任务(一)（上）

  最近在生产环境刚好遇到了延时任务的场景，调研了一下目前主流的方案，分析了一下优劣并且敲定了最终的方案。这篇文章记录了调研的过程，以及初步方案的实现。

  
• 05.12 18:15:14
  发表了文章 2022-05-12 18:15:14

  Redis的复合SET命令和简易的分布式锁优化

  最近在跟进一个比较老的系统的时候，发现了所有调度任务使用了spring-context里面的@Scheduled注解和自行基于Redis封装的简易分布式锁控制任务不并发执行。为了不引入其他框架的情况下做一些简单优化，笔者花点时间去研读了一下Redis的SET命令的相关文档。
• 05.12 18:10:39
  发表了文章 2022-05-12 18:10:39

  使用Redis的HSCAN命令遇到的一个问题

  笔者最近在做一个项目时候使用Redis存放客户端展示的订单列表，列表需要进行分页。由于笔者先前对Redis的各种数据类型的使用场景并不是十分熟悉，于是先入为主地看到Hash类型，感觉Hash类型完全满足需求实现的场景。然后想当然地考虑使用HSCAN命令进行分页，引发了后面遇到的问题。

  
• 05.12 18:03:35
  发表了文章 2022-05-12 18:03:35

  Java函数式编程之Optional

  java.util.Optional是JDK8中引入的类，它是JDK从著名的Java工具包Guava中移植过来。本文编写的时候使用的是JDK11。Optional是一个包含了NULL值或者非NULL值的对象容器，它常用作明确表明没有结果（其实明确表明存在结果也可以用Optional表示）的方法返回类型，这样可以避免NULL值带来的可能的异常（一般是NullPointerException）。
• 05.12 17:52:40
  发表了文章 2022-05-12 17:52:40

  Spring Cloud Gateway-ServerWebExchange核心方法与请求或者响应内容的修改（下）

  本文编写的时候使用的Spring Cloud Gateway版本为当时最新的版本Greenwich.SR1。

  
• 05.12 17:48:55
  发表了文章 2022-05-12 17:48:55

  Spring Cloud Gateway-ServerWebExchange核心方法与请求或者响应内容的修改（上）

  本文编写的时候使用的Spring Cloud Gateway版本为当时最新的版本Greenwich.SR1。
• 05.12 17:38:27
  发表了文章 2022-05-12 17:38:27

  Spring Cloud Gateway-自定义异常处理

  我们平时在用SpringMVC的时候，只要是经过DispatcherServlet处理的请求，可以通过@ControllerAdvice和@ExceptionHandler自定义不同类型异常的处理逻辑，具体可以参考ResponseEntityExceptionHandler和DefaultHandlerExceptionResolver，底层原理很简单，就是发生异常的时候搜索容器中已经存在的异常处理器并且匹配对应的异常类型，匹配成功之后使用该指定的异常处理器返回结果进行Response的渲染，如果找不到默认的异常处理器则用默认的进行兜底。

  
• 05.12 17:31:00
  发表了文章 2022-05-12 17:31:00

  Spring Cloud Gateway入坑记

  最近在做老系统的重构，重构完成后新系统中需要引入一个网关服务，作为新系统和老系统接口的适配和代理。之前，很多网关应用使用的是Spring-Cloud-Netfilx基于Zuul1.x版本实现的那套方案，但是鉴于Zuul1.x已经停止迭代，它使用的是比较传统的阻塞(B)IO + 多线程的实现方案，其实性能不太好。后来Spring团队干脆自己重新研发了一套网关组件，这个就是本次要调研的Spring-Cloud-Gateway。

  
• 05.12 17:09:30
  发表了文章 2022-05-12 17:09:30

  深入理解Object提供的阻塞和唤醒API

  前段时间花了大量时间去研读JUC中同步器AbstractQueuedSynchronizer的源码实现，再结合很久之前看过的一篇关于Object提供的等待和唤醒机制的JVM实现，发现两者有不少的关联，于是决定重新研读一下Object中提供的阻塞和唤醒方法。本文阅读JDK类库源码使用的JDK版本是JDK11，因为本文内容可能不适合于其他版本。

  
• 05.12 16:30:17
  发表了文章 2022-05-12 16:30:17

  通过micrometer实时监控线程池的各项指标

  最近的一个项目中涉及到文件上传和下载，使用到JUC的线程池ThreadPoolExecutor，在生产环境中出现了某些时刻线程池满负载运作，由于使用了CallerRunsPolicy拒绝策略，导致满负载情况下，应用接口调用无法响应，处于假死状态。考虑到之前用micrometer + prometheus + grafana搭建过监控体系，于是考虑使用micrometer做一次主动的线程池度量数据采集，最终可以相对实时地展示在grafana的面板中。