美团动态线程池思路开源框架(DynamicTp),监控及源码解析篇

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
可观测监控 Prometheus 版,每月50GB免费额度
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 大家好,动态线程池项目DynamicTp开源一个多月,目前400多star,说明还是比较受欢迎的,现在已经有一些小伙伴在接入使用或者即将接入使用了,为了项目以后更好的发展迭代,打算出几篇文章来对DynamicTp做一些更详细的介绍,有兴趣的小伙伴欢迎一起参与进来完善迭代项目。

大家好,动态线程池项目DynamicTp开源一个多月,目前400多star,说明还是比较受欢迎的,现在已经有一些小伙伴在接入使用或者即将接入使用了,为了项目以后更好的发展迭代,打算出几篇文章来对DynamicTp做一些更详细的介绍,有兴趣的小伙伴欢迎一起参与进来完善迭代项目。

背景啥的可以看前一篇文章介绍
美团动态线程池实践思路,开源了


项目地址

感谢star,欢迎pr,业务之余给开源贡献一份力量

gitee地址https://gitee.com/yanhom/dynamic-tp

github地址https://github.com/lyh200/dynamic-tp


系列文章

美团动态线程池实践思路,开源了

动态线程池(DynamicTp)之动态调整Tomcat、Jetty、Undertow线程池参数篇


代码结构

代码结构

1.adapter模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有SpringBoot内置的三大web容器(Tomcat、Jetty、Undertow)的线程池管理,后续可能接入其他常用组件的线程池管理。

2.common模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样做。

3.core模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此。

4.example模块:提供一个简单使用示例,方便使用者参照

5.logging模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件

6.starter模块:集成各个配置中心实现动态更新配置,目前已经集成Nacos、Apollo两个主流配置中心,使用者也可以参照扩展其他配置中心实现,客户端使用也只需引入相应starter依赖就行。

可以看出,项目还是比较简单的,总代码量也就180Kb左右,相当轻量。配置解析、报警平台、配置中心、监控数据输出、拒绝策略等都提供有SPI接口供使用者扩展,高度可定制化(自定义实现也可以提PR合并到项目中供他人使用)。

个人还是有比较强的代码洁癖的,所以代码这块也还是比较干净的(基本没有warning提示),也大量使用一些设计模式优化代码结构,可读性还是比较强的,可以一起交流学习。
社区大佬们的评价


关于扩展

1.扩展配置解析

目前支持的配置文件格式有yaml和properties,如果要扩展其他类型,参考其他两个实现继承AbstractConfigParser类,实现相应方法就行。

config

2.扩展报警平台

目前支持的报警平台有钉钉和企业微信,如果要扩展其他平台,参考其他两个实现继承AbstractNotifier类,实现相应方法就行。

notify

3.扩展监控数据输出

目前监控指标数据支持以JsonLog输出到指定位置和MicroMeter采集两种方式,如果要扩展其他实现,参考其他两个实现继承AbstractCollector类,实现相应方法,然后把配置文件中的collectorType字段配置该类型就行

monitor-metrics

4.扩展配置中心

目前支持的配置中心有Nacos和Apollo两种,如果要扩展其他实现,比如ZK、Consul等可以参考其他两个实现继承AbstractRefresher类,实现相应方法就行

refresh


源码怎么读

对源码感兴趣的朋友可以从DtpRegistry这个类入手去读
DtpRegistry

围绕注册、获取、刷新这三个核心api去跟代码

注册

注册有两处,都是在spring容器启动时在Bean创建的不同阶段执行,对spring不熟悉的小伙伴随便可以去阅读下spring创建bean的源码,代码里也大量使用了spring的事件机制做代码解耦

1.spring容器启动时DtpPostProcessor会去注册在代码中通过@Bean声明的线程池实例

2.afterPropertiesSet方法会拉去配置中心配置的线程池然后实例化

刷新

配置中心的listener监听到配置文件的变动后,解析配置文件,然后通知DtpRegistry去更新线程池配置,完之后发送变更通知到配置的平台

监控

服务启动后启动一个定时器去做监控报警,可以看DtpMonitor这个类

报警

报警这块代码做了一些抽象设计,运用了像模板方法模式等,代码可读性还是挺强的

看完代码之后你就会发现其实项目挺简单的,但是实用啊,核心代码也就是在元旦那三天写的。


接入使用

建议在配置中心单开一个配置文件,配置文件名称配置到相应字段上。

由于代码一直在迭代中,发布的maven依赖可能不是最新的,线上要使用时可以找我确认下依赖版本。

具体使用步骤上篇文章有讲,可以去看
美团动态线程池实践思路,开源了

这个项目我觉得最大的优点也就是轻量,因为各个公司使用的组件体系都可能不太一样,所以留有足够多的扩展点让自己来扩展。下面一节主要介绍集成prometheus+grafana做监控


监控

这块要讲的是集成prometheus+grafana做监控,事先你得安装好prometheus+grafana,这个就不展开讲了,网上教程很多,测试使用可以直接用docker安装,非常简单。

1.首先配置文件中开启micrometer数据采集

   enabledCollect: true
   collectorType: micrometer

2.项目中引入prometheus依赖,注意可能有版本不兼容问题,我测试遇到过

  <dependency>
      <groupId>io.micrometer</groupId>
      <artifactId>micrometer-registry-prometheus</artifactId>
      <version>1.8.3</version>
  </dependency>

3.开启prometheus指标采集端点

management:
  metrics:
    export:
      prometheus: 
        enabled: true
  endpoints:
    web:
      exposure:
        include: '*'   # 线上最后不要*

4.配置prometheus数据采集job,这块可以去了解下他的SD机制(Service Discovery),也就是自动到配置中心发现服务,看你所用的配置中心支不支持这种方式,可以去官网查看,好像是不支持nacos的,但可以去github看有没有别人提供的实现,ZK,Eureka、Consul这些是支持的。这里使用static_configs方式,简单的指定地址的静态配置

- job_name: 'dynamic-tp'
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ['192.168.2.104:9098']

job配置后prometheus管理台看到如下图所示,说明已经开始正常采集指标配置

采集指标

5.然后就是配置grafana数据可视化,配置如下图,需要该panel配置Json的可以加我发你,到这里监控就搭建起来了,其实也很简单,然后就可以实时监控线程池数据指标变动了

监控数据


联系我

对项目有什么想法或者建议,可以加我微信交流,或者创建issues,一起完善项目

公众号:CodeFox

微信:yanhom1314

目录
相关文章
|
5天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
18 2
|
22天前
|
监控 安全 Java
在 Java 中使用线程池监控以及动态调整线程池时需要注意什么?
【10月更文挑战第22天】在进行线程池的监控和动态调整时,要综合考虑多方面的因素,谨慎操作,以确保线程池能够高效、稳定地运行,满足业务的需求。
100 38
|
6天前
|
存储 安全 Linux
Golang的GMP调度模型与源码解析
【11月更文挑战第11天】GMP 调度模型是 Go 语言运行时系统的核心部分,用于高效管理和调度大量协程(goroutine)。它通过少量的操作系统线程(M)和逻辑处理器(P)来调度大量的轻量级协程(G),从而实现高性能的并发处理。GMP 模型通过本地队列和全局队列来减少锁竞争,提高调度效率。在 Go 源码中,`runtime.h` 文件定义了关键数据结构,`schedule()` 和 `findrunnable()` 函数实现了核心调度逻辑。通过深入研究 GMP 模型,可以更好地理解 Go 语言的并发机制。
|
18天前
|
消息中间件 缓存 安全
Future与FutureTask源码解析,接口阻塞问题及解决方案
【11月更文挑战第5天】在Java开发中,多线程编程是提高系统并发性能和资源利用率的重要手段。然而,多线程编程也带来了诸如线程安全、死锁、接口阻塞等一系列复杂问题。本文将深度剖析多线程优化技巧、Future与FutureTask的源码、接口阻塞问题及解决方案,并通过具体业务场景和Java代码示例进行实战演示。
38 3
|
22天前
|
Prometheus 监控 Cloud Native
JAVA线程池监控以及动态调整线程池
【10月更文挑战第22天】在 Java 中,线程池的监控和动态调整是非常重要的,它可以帮助我们更好地管理系统资源,提高应用的性能和稳定性。
59 4
|
22天前
|
Prometheus 监控 Cloud Native
在 Java 中,如何使用线程池监控以及动态调整线程池?
【10月更文挑战第22天】线程池的监控和动态调整是一项重要的任务,需要我们结合具体的应用场景和需求,选择合适的方法和策略,以确保线程池始终处于最优状态,提高系统的性能和稳定性。
92 2
|
9天前
|
SQL 监控 安全
员工上网行为监控软件:SQL 在数据查询监控中的应用解析
在数字化办公环境中,员工上网行为监控软件对企业网络安全和管理至关重要。通过 SQL 查询和分析数据库中的数据,企业可以精准了解员工的上网行为,包括基础查询、复杂条件查询、数据统计与分析等,从而提高网络管理和安全防护的效率。
22 0
|
1月前
|
存储
让星星⭐月亮告诉你,HashMap的put方法源码解析及其中两种会触发扩容的场景(足够详尽,有问题欢迎指正~)
`HashMap`的`put`方法通过调用`putVal`实现,主要涉及两个场景下的扩容操作:1. 初始化时,链表数组的初始容量设为16,阈值设为12;2. 当存储的元素个数超过阈值时,链表数组的容量和阈值均翻倍。`putVal`方法处理键值对的插入,包括链表和红黑树的转换,确保高效的数据存取。
53 5
|
1月前
|
Java Spring
Spring底层架构源码解析(三)
Spring底层架构源码解析(三)
111 5
|
25天前
|
监控 数据可视化 Java
如何使用JDK自带的监控工具JConsole来监控线程池的内存使用情况?
如何使用JDK自带的监控工具JConsole来监控线程池的内存使用情况?

热门文章

最新文章

推荐镜像

更多