由于不知道Java线程池的bug,某程序员叕被祭天(上)

简介: 由于不知道Java线程池的bug,某程序员叕被祭天

首先明确,池化的意义在于缓存,创建性能开销较大的对象,比如线程池、连接池、内存池。预先在池里创建一些对象,使用时直接取,用完就归还复用,使用策略调整池中缓存对象的数量。


Java创建对象,仅是在JVM堆分块内存,但创建一个线程,却需调用os内核API,然后os要为线程分配一系列资源,成本很高,所以线程是一个重量级对象,应避免频繁创建或销毁。

既然这么麻烦,就要避免呀,所以要使用线程池!


一般池化资源,当你需要资源时,就调用申请线程方法申请资源,用完后调用释放线程方法释放资源。但JDK的线程池根本没有申请线程和释放线程的方法。


那到底该如何理解它的设计思想呢?

其实线程池的设计,采用的是生产者-消费者模式:

  • 线程池的使用方是生产者
  • 线程池本身是消费者


以下简化代码即可显示线程池的基本原理:

1.png

JDK线程池最核心的就是ThreadPoolExecutor,看名字,它强调的是Executor,并非一般的池化资源。


为什么都说要手动声明线程池?


虽然JDK的Executors工具类提供的方法可快速创建线程池。

image.png

但阿里有话说:

image.png

弊端真的这么严重吗,newFixedThreadPool=OOM?


写段测试代码:image.png

执行不久,出现OOM

Exception in thread "http-nio-30666-ClientPoller" 
  java.lang.OutOfMemoryError: GC overhead limit exceeded
  • newFixedThreadPool线程池的工作队列直接new了一个LinkedBlockingQueue

image.png

  • 但其默认构造器是一个Integer.MAX_VALUE长度的队列,所以很快Q满

image.png

虽然使用newFixedThreadPool可以固定工作线程数量,但任务队列几乎无界。若任务较多且执行较慢,队列就会快速积压,内存不够,易导致OOM。


newCachedThreadPool也等于OOM?

[11:30:30.487] [http-nio-30666-exec-1] [ERROR] [.a.c.c.C.[.[.[/].[dispatcherServlet]:175 ] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: unable to create new native thread] with root cause
java.lang.OutOfMemoryError: unable to create new native thread 

可见OOM是因为无法创建线程,newCachedThreadPool这种线程池的最大线程数是Integer.MAX_VALUE,也可认为无上限,而其工作队列SynchronousQueue是一个没有存储空间的阻塞队列。

image.png

所以只要有请求到来,就必须找到一条工作线程处理,若当前无空闲线程就再创建一个新的。

由于我们的任务需很长时间才能执行完成,大量任务进来后会创建大量线程。而线程是需要分配一定内存空间作为线程栈的,比如1MB,因此无限创建线程必OOM


所以使用线程池,请不要抱任何侥幸,以为只是处理轻量任务,不会造成队列积压或创建大量线程!

比如某业务一旦接受到请求,就会调用外部服务,该外部服务接口正常100ms内会响应,现在TPS过百,CachedThreadPool能稳定在占用10个左右线程情况下满足需求。

可天有不测风云,该外部服务不可用了!而代码里调用该服务设置的超时又特别长, 比如1min,1min可能已经进成千上万请求,产生几千个任务,需几千个线程,没多久就因为无法再创建新线程,OOM!


所以阿里才不建议使用Executors:

  • 要结合实际并发情况,评估线程池核心参数,确保其工作行为符合预期,关键的也就是设置有界工作队列和数量可控的线程数
  • 永远要为自定义的线程池设置有意义名称,以便排查问题

因为当出现线程数量暴增、死锁、CPU负载高、线程执行异常等事故时,往往都需抓取线程栈。有意义的线程名称,就很重要。示例如下:

image.png

注意异常处理

目录
相关文章
|
6天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
21 0
|
6天前
|
Java
Java并发编程:深入理解线程池
【4月更文挑战第30天】本文将深入探讨Java并发编程中的一个重要主题——线程池。我们将从线程池的基本概念入手,了解其工作原理和优势,然后详细介绍如何使用Java的Executor框架创建和管理线程池。最后,我们将讨论一些高级主题,如自定义线程工厂和拒绝策略。通过本文的学习,你将能够更好地理解和使用Java的线程池,提高你的并发编程能力。
|
9天前
|
Java 程序员 数据库
Java线程池让使用线程变得更加高效
使用一个线程需要经过创建、运行、销毁三大步骤,如果业务系统每个线程都要经历这个过程,那会带来过多不必要的资源消耗。线程池就是为了解决这个问题而生,需要时就从池中拿取,使用完毕就放回去,池化思想通过复用对象大大提高了系统的性能。线程池、数据库连接池、对象池等都采用了池化技术,下面我们就来学习下线程池的核心知识、面试重点~
49 4
Java线程池让使用线程变得更加高效
|
6天前
|
缓存 Java 调度
Java并发编程:深入理解线程池
【4月更文挑战第30天】 在Java并发编程中,线程池是一种重要的工具,它可以帮助我们有效地管理线程,提高系统性能。本文将深入探讨Java线程池的工作原理,如何使用它,以及如何根据实际需求选择合适的线程池策略。
|
6天前
|
Java
Java并发编程:深入理解线程池
【4月更文挑战第30天】 本文将深入探讨Java中的线程池,解析其原理、使用场景以及如何合理地利用线程池提高程序性能。我们将从线程池的基本概念出发,介绍其内部工作机制,然后通过实例演示如何创建和使用线程池。最后,我们将讨论线程池的优缺点以及在实际应用中需要注意的问题。
|
7天前
|
Java
Java并发编程:深入理解线程池
【4月更文挑战第29天】在Java中,线程池是一种管理线程的强大工具,它可以提高系统性能,减少资源消耗。本文将深入探讨Java线程池的工作原理,如何使用它,以及在使用线程池时需要注意的问题。
|
7天前
|
Java
Java并发编程:深入理解线程池
【4月更文挑战第29天】 在Java并发编程中,线程池是一种重要的工具,它可以帮助我们管理线程资源,提高系统性能。本文将深入探讨线程池的工作原理、使用方法以及如何根据实际需求选择合适的线程池参数。通过阅读本文,你将能够更好地理解和使用Java线程池,提高你的并发编程能力。
|
7天前
|
Java 调度 开发者
Java并发编程:深入理解线程池
【4月更文挑战第29天】 在现代Java应用中,高效地管理线程资源是至关重要的。线程池作为一种优化手段,其设计旨在减少在执行大量异步任务时创建和销毁线程的开销,同时提供一种机制来控制并发执行的任务数量。本文将深入探讨线程池的核心概念、使用场景以及它们如何影响系统性能。我们将剖析不同类型的线程池实现,并讨论如何根据具体需求选择合适的配置策略,以期帮助开发者避免常见的并发陷阱,提升应用的性能和稳定性。
|
7天前
|
Java
Java并发编程:深入理解线程池
【4月更文挑战第29天】在Java并发编程中,线程池是提高程序性能和资源利用率的重要工具。本文将深入探讨线程池的工作原理、使用场景以及如何合理地配置线程池参数。通过阅读本文,你将能够更好地理解线程池的作用,并在实际应用中更加灵活地使用线程池。
|
8天前
|
Java 程序员 API
Java并发编程:深入理解线程池
【4月更文挑战第28天】本文将深入探讨Java并发编程中的一个重要概念——线程池。我们将从线程池的基本概念入手,逐步深入到线程池的工作原理、优势以及如何使用Java中的Executor框架来创建和管理线程池。通过本文的学习,你将能够更好地理解线程池在提高程序性能和资源利用率方面的重要性,并掌握如何在Java项目中合理地使用线程池。