JVM 源码分析之一个 Java 进程究竟能创建多少线程

简介: JVM 源码分析之一个 Java 进程究竟能创建多少线程

概述


虽然这篇文章的标题打着JVM源码分析的旗号,不过本文不仅仅从 JVM 源码角度来分析,更多的来自于 Linux Kernel 的源码分析,今天要说的是 JVM 里比较常见的一个问题。


这个问题可能有几种表述


  • 一个Java进程到底能创建多少线程?
  • 到底有哪些因素决定了能创建多少线程?
  • java.lang.OutOfMemoryError: unable to create new native thread的异常究竟是怎么回事


不过我这里先声明下可能不能完全百分百将各种因素都理出来,因为毕竟我不是做 Linux Kernel 开发的,还有不少细节没有注意到的,我将我能分析到的因素和大家分享一下,如果大家在平时工作中还碰到别的因素,欢迎在文章下面留言,让更多人参与进来讨论


从 JVM 说起


线程大家都熟悉,new Thread().start()即会创建一个线程,这里我首先指出一点new Thread()其实并不会创建一个真正的线程,只有在调用了 start 方法之后才会创建一个线程,这个大家分析下 Java 代码就知道了,Thread 的构造函数是纯 Java 代码,start 方法会调到一个 native 方法 start0 里,而 start0 其实就是JVM_StartThread这个方法。


1.jpg


从上面代码里首先要大家关注下最后的那个 if 判断 if (native_thread->osthread() == NULL),如果 osthread 为空,那将会抛出大家比较熟悉的 unable to create new native thread OOM 异常,因此 osthread 为空非常关键,后面会看到什么情况下osthread会为空。


另外大家应该注意到了native_thread = new JavaThread(&thread_entry, sz),在这里才会真正创建一个线程。


2.jpg

上面代码里的os::create_thread(this, thr_type, stack_sz)会通过pthread_create来创建线程,而 Linux 下对应的实现如下:


3.jpg

4.jpg

5.jpg


如果在 new OSThread 的过程中就失败了,那显然 osthread 为 NULL,那再回到上面第一段代码,此时会抛出java.lang.OutOfMemoryError: unable to create new native thread的异常,而什么情况下new OSThread会失败,比如说内存不够了,而这里的内存其实是 C Heap,而非 Java Heap,由此可见从 JVM 的角度来说,影响线程创建的因素包括了 Xmx,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等,因为这些参数会影响剩余的内存


另外注意到如果pthread_create执行失败,那通过thread->set_osthread(NULL)会设置空值,这个时候 osthread 也为 NULL,因此也会抛出上面的 OOM 异常,导致创建线程失败,因此接下来要分析下 pthread_create 失败的因素。


glibc 中的 pthread_create


stack_size


pthread_create 的实现在 glibc 里,


6.jpg

上面我主要想说的一段代码是int err = ALLOCATE_STACK (iattr, &pd),顾名思义就是分配线程栈,简单来说就是根据 iattr 里指定的 stackSize,通过 mmap 分配一块内存出来给线程作为栈使。


那我们来说说 stackSize,这个大家应该都明白,线程要执行,要有一些栈空间,试想一下,如果分配栈的时候内存不够了,是不是创建肯定失败?而 stackSize 在 JVM 下是可以通过 -Xss 指定的,当然如果没有指定也有默认的值,下面是 JDK6 之后(含)默认值的情况。


Linux Kernel 里的 clone


如果栈分配成功,那接下来就要创建线程了,大概逻辑如下

7.jpg

而create_thread其实是调用的系统调用clone

8.jpg

系统调用这块就切入到了 Linux Kernel 里


clone 系统调用最终会调用do_fork方法,接下来通过剖解这个方法来分析 Kernel 里还存在哪些因素。


max_user_processes

9.jpg

先看这么一段,这里其实就是判断用户的进程数有多少,大家知道在linux下,进程和线程其数据结构都是一样的,因此这里说的进程数可以理解为轻量级线程数,而这个最大值是可以通过ulimit -u可以查到的,所以如果当前用户起的线程数超过了这个限制,那肯定是不会创建线程成功的,可以通过ulimit -u value来修改这个值


max_map_count


在这个过程中不乏有 mallo c的操作,底层是通过系统调用 brk 来实现的,或者上面提到的栈是通过 mmap 来分配的,不管是 malloc 还是 mmap,在底层都会有类似的判断。

10.jpg

如果进程被分配的内存段超过sysctl_max_map_count就会失败,而这个值在 linux 下对应/proc/sys/vm/max_map_count,默认值是 65530,可以通过修改上面的文件来改变这个阈值


max_threads


还存在max_threads的限制,代码如下:

11.jpg

如果要修改或者查看可以通过/proc/sys/kernel/threads-max来操作, 这个值是受到物理内存的限制,在fork_init的时候就计算好了。


12.jpg

pid_max


pid 也存在限制

13.jpg

alloc_pid的定义如下

14.jpg

alloc_pidmap中会判断pid_max,而这个值的定义如下

15.jpg

这个值可以通过 /proc/sys/kernel/pid_max 来查看或者修改


总结


通过对 JVM,glibc,Linux kernel 的源码分析,我们暂时得出了一些影响线程创建的因素,包括


  • JVM:Xmx,Xss,MaxPermSize,MaxDirectMemorySize,ReservedCodeCacheSize 等
  • Kernel:max_user_processes,max_map_count,max_threads,pid_max 等


由于对 kernel 的源码研读时间有限,不一定总结完整,大家可以补充。

相关文章
|
14天前
|
UED 开发者 Python
探索操作系统的心脏:理解进程与线程
【8月更文挑战第31天】在数字世界的海洋中,操作系统犹如一艘巨轮,其稳定航行依赖于精密的进程与线程机制。本文将揭开这一机制的神秘面纱,通过深入浅出的语言和直观的代码示例,引领读者从理论到实践,体验进程与线程的魅力。我们将从基础概念出发,逐步深入到它们之间的联系与区别,最后探讨如何在编程实践中高效运用这些知识。无论你是初学者还是有经验的开发者,这篇文章都将为你的技术之旅增添新的航标。
|
16天前
|
存储 算法 Java
惊!Java程序员必看:JVM调优揭秘,堆溢出、栈溢出如何巧妙化解?
【8月更文挑战第29天】在Java领域,JVM是代码运行的基础,但需适当调优以发挥最佳性能。本文探讨了JVM中常见的堆溢出和栈溢出问题及其解决方法。堆溢出发生在堆空间不足时,可通过增加堆空间、优化代码及释放对象解决;栈溢出则因递归调用过深或线程过多引起,调整栈大小、优化算法和使用线程池可有效应对。通过合理配置和调优JVM,可确保Java应用稳定高效运行。
94 4
|
18天前
|
数据采集 存储 安全
如何确保Python Queue的线程和进程安全性:使用锁的技巧
本文探讨了在Python爬虫技术中使用锁来保障Queue(队列)的线程和进程安全性。通过分析`queue.Queue`及`multiprocessing.Queue`的基本线程与进程安全特性,文章指出在特定场景下使用锁的重要性。文中还提供了一个综合示例,该示例利用亿牛云爬虫代理服务、多线程技术和锁机制,实现了高效且安全的网页数据采集流程。示例涵盖了代理IP、User-Agent和Cookie的设置,以及如何使用BeautifulSoup解析HTML内容并将其保存为文档。通过这种方式,不仅提高了数据采集效率,还有效避免了并发环境下的数据竞争问题。
如何确保Python Queue的线程和进程安全性:使用锁的技巧
|
7天前
|
存储 Java 数据处理
进程中的线程调度
进程是应用程序运行的基本单位,包括主线程、用户线程和守护线程。计算机由存储器和处理器协同操作,操作系统设计为分时和分任务模式。在个人PC普及后,基于用户的时间片异步任务操作系统确保了更好的体验和性能。线程作为进程的调度单元,通过覆写`Thread`类的`run`方法来处理任务数据,并由系统调度框架统一管理。微服务架构进一步将应用分解为多个子服务,在不同节点上执行,提高数据处理效率与容错性,特别是在大规模数据存储和处理中表现显著。例如,利用微服务框架可以优化算法,加速业务逻辑处理,并在不同区块间分配海量数据存储任务。
|
11天前
|
安全 前端开发 Java
浅析JVM invokedynamic指令与Java Lambda语法的深度融合
在Java的演进历程中,Lambda表达式无疑是Java 8引入的一项革命性特性,它极大地简化了函数式编程在Java中的应用,使得代码更加简洁、易于阅读和维护。而这一切的背后,JVM的invokedynamic指令功不可没。本文将深入探讨invokedynamic指令的工作原理及其与Java Lambda语法的紧密联系,带您领略这一技术背后的奥秘。
10 1
|
15天前
|
消息中间件 算法 Java
深入浅出操作系统:进程管理的艺术掌握Java中的异常处理机制
【8月更文挑战第30天】在数字世界的舞台上,操作系统扮演着导演的角色,精心安排着每一个进程的表演。本文将揭开进程管理的神秘面纱,从进程的诞生到终结,探究它们如何在操作系统的指挥下和谐共舞。通过生动的比喻和直观的代码示例,我们将一同走进操作系统的核心,理解进程调度、同步与通信的内在机制,以及它们对计算生态的重要性。让我们跟随代码的节奏,一起感受操作系统的魅力吧!
|
16天前
|
调度
深入理解操作系统:进程与线程的管理
【8月更文挑战第29天】在数字世界的每一次点击和滑动背后,都隐藏着操作系统的精妙运作。本文将带你探索操作系统的核心概念之一——进程与线程的管理。我们将从基础定义出发,逐步深入到它们在内存中的表示、状态变迁以及它们之间错综复杂的关系。通过简洁明了的语言和直观的比喻,即便是没有计算机背景的读者也能轻松理解这一主题。准备好了吗?让我们一起揭开操作系统神秘的面纱,探索那些看似晦涩却无比精彩的知识吧!
|
17天前
|
调度 Python
深入理解操作系统:进程与线程的奥秘
【8月更文挑战第27天】本文将带你走进操作系统的核心,探索进程和线程这两个基本概念。我们将从它们的定义开始,逐步深入到它们之间的联系和区别,以及在操作系统中的作用。通过本文,你将了解到进程和线程不仅仅是编程中的两个术语,它们是操作系统管理资源、实现并发和并行的关键。最后,我们还将通过一个代码示例,展示如何在Python中创建和管理线程。
|
17天前
|
算法 调度 开发者
深入理解操作系统:进程与线程管理
【8月更文挑战第28天】在数字世界的心脏跳动着的是操作系统,它是计算机硬件与软件之间的桥梁。本文将带你探索操作系统的核心概念——进程与线程,揭示它们如何协同工作以支持多任务处理和并发执行。通过实际代码示例,我们将深入了解这些抽象概念是如何在真实系统中实现的。无论你是编程新手还是资深开发者,这篇文章都将为你提供新的视角,让你对操作系统有更深刻的认识。
|
12天前
crash —— 输出属于同一个进程的所有线程
crash —— 输出属于同一个进程的所有线程