news 2026/5/11 10:43:39

美团动态线程池,真香啊!

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
美团动态线程池,真香啊!

使用线程池ThreadPoolExecutor过程中你是否有以下痛点呢?

  1. 代码中创建了一个ThreadPoolExecutor,但是不知道那几个核心参数设置多少比较合适

  2. 凭经验设置参数值,上线后发现需要调整,改代码重启服务,非常麻烦

  3. 线程池相对开发人员来说是个黑盒,运行情况不能及时感知到,直到出现问题

如果你有以上痛点,动态可监控线程池(DynamicTp)或许能帮助到你。

最近建了一些工作内推群,各大城市都有,欢迎各位HR和找工作的小伙伴进群交流,群里目前已经收集了不少的工作内推岗位。

扫码下发二维码加苏三的微信,备注:所在城市,即可进群。

背景

如果看过ThreadPoolExecutor的源码,大概可以知道它对核心参数基本都有提供set/get方法以及一些扩展方法,可以在运行时动态修改、获取相应的值。

现在大多数的互联网项目其实都会微服务化部署,有一套自己的服务治理体系,微服务组件中的分布式配置中心扮演的就是动态修改配置, 实时生效的角色。那么我们是否可以结合配置中心来做运行时线程池参数的动态调整呢?

答案是肯定的,而且配置中心相对都是高可用的, 使用它也不用过于担心配置推送出现问题这类事儿,而且也能减少研发动态线程池组件的难度和工作量。

综上,可以总结出以下的背景
  • 广泛性:在 Java 开发中,想要提高系统性能,线程池已经是一个 90%以上的人都会选择使用的基础工具

  • 不确定性:项目中可能会创建很多线程池,既有 IO 密集型的,也有 CPU 密集型的,但线程池的参数并不好确定;需要有套机制在运行过程中动态去调整参数

  • 无感知性:线程池运行过程中的各项指标一般感知不到;需要有套监控报警机制在事前、事中就能让开发人员感知到线程池的运行状况,及时处理

  • 高可用性:配置变更需要及时推送到客户端;需要有高可用的配置管理推送服务,配置中心是现在大多数互联网系统都会使用的组件,与之结合可以大幅度减少开发量及接入难度

简介

基于以上背景分析,我们对线程池ThreadPoolExecutor做一些扩展增强,主要实现以下目标

  1. 实现对运行中线程池参数的动态修改,实时生效

  2. 实时监控线程池的运行状态,触发设置的报警策略时报警,报警信息推送办公平台

  3. 定时采集线程池指标数据,配合像 grafana 这种可视化监控平台做大盘监控

经过多个版本的迭代,目前最新版本 v1.0.9 具有以下特性
  • 代码零侵入:所有配置都放在配置中心,对业务代码零侵入

  • 轻量简单:基于 SpringBoot 实现,引入starter,接入只需简单 4 步就可完成,顺利 3 分钟搞定

  • 高可扩展:框架核心功能都提供 SPI 接口供用户自定义个性化实现(配置中心、配置文件解析、通知告警、监控数据采集、任务包装等等)

  • 线上大规模应用:参考美团线程池实践,美团内部已经有该理论成熟的应用经验

  • 多平台通知报警」:提供多种报警维度(配置变更通知、活性报警、容量阈值报警、拒绝触发报警、任务执行或等待超时报警),已支持企业微信、钉钉、飞书、邮件报警,同时提供 SPI 接口可自定义扩展实现

  • 监控:定时采集线程池指标数据,支持通过MicroMeterJsonLog日志输出、Endpoint三种方式,可通过 SPI 接口自定义扩展实现

  • 任务增强:提供任务包装功能,实现TaskWrapper接口即可,如MdcTaskWrapperTtlTaskWrapperSwTraceTaskWrapper,可以支持线程池上下文信息传递

  • 兼容性:JUC 普通线程池和 Spring 中的ThreadPoolTaskExecutor也可以被框架监控,@Bean定义时加@DynamicTp注解即可

  • 可靠性:框架提供的线程池实现 Spring 生命周期方法,可以在 Spring 容器关闭前尽可能多的处理队列中的任务

  • 多模式:参考 Tomcat 线程池提供了 IO 密集型场景使用的EagerDtpExecutor线程池

  • 支持多配置中心:基于主流配置中心实现线程池参数动态调整,实时生效,已支持NacosApolloZookeeperConsulEtcd,同时也提供 SPI 接口可自定义扩展实现

  • 中间件线程池管理:集成管理常用第三方组件的线程池,已集成TomcatJettyUndertowDubboRocketMqHystrixGrpc等组件的线程池管理(调参、监控报警)

架构设计

框架功能大体可以分为以下几个模块

  • 配置变更监听模块

  • 服务内部线程池管理模块

  • 三方组件线程池管理模块

  • 监控模块

  • 通知告警模块

代码结构

  1. adapter 模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有 SpringBoot 内置的三大 web 容器(TomcatJettyUndertow)、DubboRocketMqHystrixGrpc的线程池管理, 后续会接入其他常用组件的线程池管理。

  2. common 模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样做。

  3. core 模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此。

  4. example 模块:提供一个简单使用示例,方便使用者参照

  5. extension 模块:放一些扩展功能实现,比如基于 redis 的流控扩展、邮件发送扩展、skywalking上下文传递扩展等

  6. logging 模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件

  7. starter模块:提供独立功能模块的依赖封装、自动配置等相关。

配置变更监听模块

1.监听特定配置中心的指定配置文件(已实现NacosApolloZookeeperConsulEtcd),可通过内部提供的SPI接口扩展其他实现。

2.解析配置文件内容,内置实现ymlpropertiesjson配置文件的解析,可通过内部提供的 SPI 接口扩展其他实现

3.通知线程池管理模块实现参数的刷新

服务内部线程池管理模块

1.服务启动时从配置中心拉取配置,生成线程池实例注册到内部线程池注册中心以及 Spring 容器中

2.接受配置监听模块的刷新事件,实现线程池参数的刷新

3.代码中通过依赖注入(推荐)或者DtpRegistry.getDtpExecutor()方法根据线程池名称来获取线程池实例

三方组件线程池管理

1.服务启动获取第三方中间件的线程池,被框架管理起来

2.接受参数刷新、指标收集、通知报警事件,进行相应的处理

监控模块

实现监控指标采集以及输出,默认提供以下三种方式,也可通过内部提供的 SPI 接口扩展其他实现

  • 默认实现 JsonLog 输出到磁盘,可以自己采集解析日志,存储展示

  • MicroMeter采集,引入MicroMeter相关依赖,暴露相关端点,采集指标数据,结合Grafana做监控大盘

  • 暴雷自定义Endpoint端点(dynamic-tp),可通过 http 方式实时访问

通知告警模块

对接办公平台,实现通知告警功能,已支持钉钉、企微、飞书、邮件,可通过内部提供的 SPI 接口扩展其他实现,通知告警类型如下

  • 线程池主要参数变更通知

  • 阻塞队列容量达到设置的告警阈值

  • 线程池活性达到设置的告警阈值

  • 触发拒绝策略告警,格式:A/B,A:该报警项前后两次报警区间累加数量,B:该报警项累计总数

  • 任务执行超时告警,格式:A/B,A:该报警项前后两次报警区间累加数量,B:该报警项累计总数

  • 任务等待超时告警,格式:A/B,A:该报警项前后两次报警区间累加数量,B:该报警项累计总数

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/23 20:08:47

救命神器!9款AI论文软件测评:本科生毕业论文必备工具清单

救命神器!9款AI论文软件测评:本科生毕业论文必备工具清单 2026年AI论文工具测评:从选题到定稿的高效助手 随着人工智能技术在学术领域的广泛应用,越来越多的本科生开始依赖AI论文工具来提升写作效率与质量。然而,面对市…

作者头像 李华
网站建设 2026/5/5 9:20:45

人事考试安全风险点防控管理信息系统

内容目录 一、详细介绍二、效果展示1.部分代码2.效果图展示 三、学习资料下载 一、详细介绍 系统主要功能包括: 1、基本信息,考试过程中流程发布。包括工作流程、工作内容、安全风险点、防范和控制措施。 2、考试管理,考试信息添加、编辑、…

作者头像 李华
网站建设 2026/4/18 5:38:59

Java计算机毕设之基于Springboot+Vue的个人物品管理系统基于springboot的家庭物品收纳管理系统(完整前后端代码+说明文档+LW,调试定制等)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/5/3 8:26:58

Java毕设项目推荐-基于springboot个性化智能提醒的社区老年康养智能服药提醒管理系统【附源码+文档,调试定制服务】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/5/9 10:04:55

基于单 Reactor + 线程池的 Linux 高性能 HTTP 服务器(C++17 实现

一、项目背景与核心价值 作为后端开发 / 网络编程学习者,「手写 HTTP 服务器」是理解Linux I/O 多路复用、并发模型、协议解析的经典实践。这个项目基于《Linux 高性能服务器编程》的单 Reactor 线程池半同步半异步模型实现,覆盖epoll事件管理、线程池…

作者头像 李华
网站建设 2026/5/8 6:43:52

第 478 场周赛Q2——3760. 不同首字母的子字符串数目

题目链接:3760. 不同首字母的子字符串数目(中等) 算法原理: 解法:哈希表 23ms击败40.67% 时间复杂度O(N) 思路很简单,就是统计出有多少不同的字母即可,原因👇 题目要求子字符串连续&…

作者头像 李华