进程上下文切换 – 残酷的性能杀手(下)

简介:

几个月一直懒得没动笔写写博客,最近开始动笔写点什么,今天就趁着加班出版本,横下心决定把上次烂尾的文章给收了(上篇:http://www.cppthinker.com/linux/224/context_switch_1/)。

接上篇,我们已经通过分析内核代码看到pthread_cond_signal和pthread_cond_wait会发生CS(Context Switch),本篇我将从实际测试数据出发,来看CS究竟会对我们的应用程序产生怎样的影响。

一般我们可以通过工具vmstat, dstat, pidstat来观察CS的切换情况。

vmstat, dstat只能观察整个系统的切换情况,而pidstat可以更精确地观察某个进程的上下文切换情况。

 

这里我用了chaos库中task_service的一个测试用例来说明情况(chaos库是我写得一个高性能并发网络库,而task_service是一个提供了多线程通信的异步消息队列)https://github.com/lyjdamzwf/chaos/blob/master/chaos/task_service/task_service.h

https://github.com/lyjdamzwf/chaos/blob/master/chaos/task_service/task_service.cpp

这两个文件中,在post异步消息给task_service_t时,会根据头文件中定义的宏在编译期控制调用pthread_cond_signal还是write(fd),这是典型的生产者消费者模型

注意,通过系统调用write来通知task_service_t内部的线程会有以下几种可能:

*) pipe

*) socketpair

*) eventfd

它们都是linux中的多进程/多线程通信的常用手段

我们直接跑一下chaos/test/task_service 下的用例来分别看下不同机制的结果吧

  CS/s post cost exec cost
pthread_cond_wat/pthread_cond_signal 600k 32,235,597 us 32,235,078 us
sleep 300 3,987,928 us 3,996,383 us
pipe 500 11,928,024 us 11,928,174 us
socket_pair 4000 16,532,314 us 16,532,461 us
eventfd 200 5,136,712 us 5,303,645 us
boost::io_service 750k 26,355,836 us 26,355,708 us

好,让我们一个一个来解读

首先,使用了pthread的条件变量的chaos::task_service引起的CS非常之大,效率也是最慢,原因其实上篇已经讲述,不管是pthread_cond_wait还是pthread_cond_signal,都会发生一次CS。

使用了sleep的chaos::task_service,效率是最高的,主要原因是在于生产者每次投递时不需要系统调用进行notify,且CS也是很小的,但是这种模型在理论上没有其他 wait/notify的模型要来的好,而且CS和整体的效率还和sleep的参数有关

pipe, socket_pair 和 eventfd 都是基于 write系统调用来notify消费者,eventfd是最新内核提供的机制,几乎感受不到的CS让其效率也遥遥领先其他的通信机制

值得注意的是boost::io_service,我这里的测试系统是linux,windows上的boost::io_service实现没有测试,但其CS切换如此之高,却整体效率比chaos::task_service使用pthread 条件变量的模型来得快一些,我想应该是由于其内部的队列实现,毕竟目前chaos::task_service的队列只是简单的lock deque。

基于以上统计,我们可以看出基本是呈现CS越少,整体运行效率越高的趋势

我们可以得出一个比较浅显的结论是,CS起码会是影响我们程序性能的主要因素之一

当然,任何时候我都觉得测试数据只是眼前的测试数据,它只能告诉我们什么东西值得我们去注意,而不是什么东西一定是怎样的,至少对于后台服务,CS应该是我们常常需要去考量性能的一个因素

好了,就到这,希望对大家有帮助 :)

PS. 加班写文章思绪有些乱,前言不搭后语望包含,赶紧撤了~

 

我的个人博客地址:www.cppthinker.com

欢迎大家交流:)

目录
相关文章
|
5月前
|
缓存 监控
第四十三章 使用^TRACE跟踪进程性能
第四十三章 使用^TRACE跟踪进程性能
37 0
|
5月前
|
网络协议 安全 Unix
深入剖析进程间通信:Unix 套接字、共享内存与IP协议栈的性能比较
深入剖析进程间通信:Unix 套接字、共享内存与IP协议栈的性能比较
167 2
|
5月前
|
缓存 负载均衡 安全
在Python中,如何使用多线程或多进程来提高程序的性能?
【2月更文挑战第17天】【2月更文挑战第50篇】在Python中,如何使用多线程或多进程来提高程序的性能?
56 4
|
2月前
|
API Android开发
Android P 性能优化:创建APP进程白名单,杀死白名单之外的进程
本文介绍了在Android P系统中通过创建应用进程白名单并杀死白名单之外的进程来优化性能的方法,包括设置权限、获取运行中的APP列表、配置白名单以及在应用启动时杀死非白名单进程的代码实现。
47 1
|
3月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
3月前
|
算法 调度 UED
操作系统中的进程调度策略及其对系统性能的影响
本文深入探讨了操作系统中进程调度的多种策略,包括先来先服务、短作业优先、优先级调度、轮转与多级队列等,并分析了它们对系统性能的具体影响。通过比较不同调度算法的效率和公平性,本文旨在为系统管理员提供选择合适调度策略的依据,以优化系统的整体表现。
|
3月前
|
NoSQL Redis
Redis性能优化问题之查看 Redis 进程是否发生内存 swap,如何解决
Redis性能优化问题之查看 Redis 进程是否发生内存 swap,如何解决
|
2月前
|
并行计算 开发者 Python
解锁Python多进程编程的超能力:并行计算的魔法与奇迹,探索处理器核心的秘密,让程序性能飞跃!
【8月更文挑战第12天】在Python编程领域,多进程编程是一项关键技能,能有效提升程序效率。本文通过理论与实践结合,深入浅出地介绍了Python中的多进程编程。首先解释了多进程的概念:即操作系统中能够并发执行的多个独立单元,进而提高整体性能。接着重点介绍了`multiprocessing`模块,演示了如何创建和启动进程,以及进程间的通信方式,如队列等。此外,还提到了更高级的功能,例如进程池管理和同步原语等。通过这些实例,读者能更好地理解如何在实际项目中利用多核处理器的优势,同时注意进程间通信和同步等问题,确保程序稳定高效运行。
32 0
|
3月前
|
大数据 API 数据处理
Python高手都在用的并发秘籍:解锁线程与进程的终极奥义,性能飙升不是梦!
【7月更文挑战第8天】Python并发编程提升性能,线程(threading)适合I/O密集型任务,如网络请求,通过`start()`和`join()`实现并发。进程(multiprocessing)利用多核CPU,适用于CPU密集型任务,如大数据处理。结合两者可优化混合任务,实现最佳并发效果。
30 1
|
5月前
|
消息中间件 安全 调度
基于Python的性能优化(线程、协程、进程)
一、多线程 在CPU不密集、IO密集的任务下,多线程可以一定程度的提升运行效率。