Linux内核工作队列探秘

简介: 作者:陈善佩 马涛

工作队列的节能特性最早由3.11内核引入,此后,50多个子系统和设备驱动开始使用它。而节能工作队列则被广泛用于手持设备(如平板电脑,智能手机)。ARM平台上,在Android系统中使用节能工作队列,可以显著降低能源消耗。

在Linux kernel中,工作队列是常见的延后执行机制,经常出现在异步执行上下文中。上下文由内核工作线程提供,当有任务被放入队列(入队操作)时,工作线程将会被唤醒。内核实现时,工作队列由strut workqueue_struct表示,而任务由strut work_struct表示。work_struct中包含一个回调函数,该函数将会被工作线程调用,以表示任务被执行。一旦工作队列上的所有任务执行完毕,工作线程又继续睡眠。

下面是工作队列相关的常见API:

bool queue_work(...);
bool queue_work_on(...);
bool queue_delayed_work(...);
bool queue_delayed_work_on(...);

queue_work_on()和queue_delayed_work_on()指定了任务由哪个cpu上的工作线程执行,另两个函数允许任务运行在任意cpu上。对于前两个函数,任务将会被立即执行;而对于后两个函数,任务需要等待一段时间才会被执行。

绑定工作队列的缺陷
在内核中,一种常见的使用工作队列的场景是处理周期性的工作:不断重复执行队列任务,并由回调函数重新将任务放入队列。下面是一段演示程序:

1. static void foohandler(struct work_struct *work)
2. {
3.    struct delayed_work *dwork = to_delayed_work(work);
4.    /* Do some work here */
5.    queue_delayed_work(system_wq, dwork, 10);
6. }
7. void foo_init(void)
8. {
9.    struct delayed_work *dwork = kmalloc(sizeof(*dwork), GFP_KERNEL);
10.    INIT_DEFERRABLE_WORK(dwork, foo_handler);
11.    queue_delayed_work(system_wq, dwork, 10);
}

读者可能会认为,任务将会被任意cpu执行(由调度器选出一个最合适的cpu)。遗憾的是,这不完全正确。工作队列机制倾向于将任务放入local cpu(即,执行queue_delayed_work()的那个cpu),除非local cpu被wq_unbound_cpumask屏蔽了。举个例子,在8核平台上,上面演示程序中的回调函数总是在一个cpu上执行,尽管该cpu处于idle状态且存在其它cpu处于运行状态。

wq_unbound_cpumask表示可以执行“工作队列任务”的cpu集合,注意,只有当该任务没有通过API(xxx_work_on())指定到某个特定的cpu时,该掩码才生效。该掩码可以通过 /sys/devices/virtual/workqueue/cpumask设置。

从节能的角度看,一个正在执行正常程序的cpu被中断,然后执行工作队列任务,这是可接受的。反之,如果唤醒一个处于idle状态的cpu,然后仅仅更新时钟和将任务放入队列,这将消耗更多能源。cpu绑定有时并不能带来好的性能,因为被绑定的cpu并不一定是调度器认为的负载最轻的cpu,此时调度器不能进行负载均衡。

工作队列的节能特性
默认情况下,工作队列的节能特性是关闭的。使能该特性有两种方式:

内核启动参数 workqueue.power_efficient=true

编译内核时打开开关 CONFIGWQPOWER_EFFICIENT = y

一旦使能节能模式,我们就可以在调用 alloc_workqueue() 时传入WQ_POWER_EFFICIENT标志,建立节能工作队列。内核中还维护了两个全局的节能工作队列:system_power_efficient_wq 和 system_freezable_power_efficient_wq,当用户不想建立自己私有的队列时,可以使用它们。

不同于之前的local cpu策略,节能模式下,任务入队时,总是由调度器提供一个target cpu,然后将任务放入target cpu上的工作队列。因此,现在任务可以在不同的cpu执行了。

不幸的是,这并不意味着调度器总是选择一个最优的cpu去执行工作队列任务。调度器的调度算法非常复杂,但总体上,它在考虑cache亲和性的基础上,倾向于选择一个负载最轻的cpu。如果,工作队列任务没有被快速执行完,任务还有可能会被调度器迁移到别的cpu上。

节能特性的实现依赖于cpu调度器,但cpu调度器更主要的设计点是性能,其次才在调度策略中加入了能效方面的考虑。因此,当前实现的节能工作队列显然没有采用最优的节能策略,但它在能效方面确实表现得更好了。

很自然的,我们会想到,是否所有的工作队列都应该工作在节能模式下呢?节能工作队列有一个明显的缺点:每次执行任务都在不同的cpu上,cache亲和性被破坏,可能会导致大量cache miss(取决于任务的访存特性),这会显著降低性能。但有的时候,队列任务对cache miss不敏感,调度器的负载均衡操作反而能显著降低队列任务的响应延迟。考虑到上述两方面,在使用节能队列时需要仔认真地评估。

测试数据
在32-bit ARM big.LITTLE平台上运行benchmark,该平台具有4个Cortex A7核和4个Cortex A15核。除了用aplay在后台播放音乐外,整个系统没有其它负载。测试内核采用Linaro公司的ubuntu-devel版本,此外还打了一些调度器补丁。测试结果显示,节能工作队列的能源效率平均提高15.7%。具体数据如下:

Vanilla kernel +                  Vanilla Kernel +
scheduler patches +           scheduler patches       
                                          power-efficient wq
 A15 cluster      0.322866            0.2289042
 A7 cluster       2.619137            2.2514632
Total            2.942003            2.4803674

如果使用upstream kernel,节能工作队列将会工作得更好。因为在后续调度其中,越来却多的考虑了能源效率。

相关文章
|
16天前
|
存储 Linux 调度
深入理解Linux内核:从用户空间到内核空间的旅程
【8月更文挑战第4天】在这篇文章中,我们将探索Linux操作系统的核心—内核。通过了解内核如何管理硬件资源,以及它是如何在用户空间和内核空间之间架起桥梁的,我们可以更好地理解操作系统的工作原理。本文将介绍一些关键概念,并通过代码示例来揭示这些概念是如何在实际中应用的。无论你是开发者、系统管理员还是对操作系统感兴趣的爱好者,这篇文章都将为你提供一个深入了解Linux内核的机会。让我们开始这段旅程吧!
|
2月前
|
存储 Linux 数据处理
探索Linux操作系统的内核与文件系统
本文深入探讨了Linux操作系统的核心组件,包括其独特的内核结构和灵活的文件系统。文章首先概述了Linux内核的主要功能和架构,接着详细分析了文件系统的工作原理以及它如何支持数据存储和检索。通过比较不同的文件系统类型,本文旨在为读者提供一个关于如何根据特定需求选择合适文件系统的参考框架。
|
2月前
|
Linux API 调度
技术笔记:Linux内核跟踪和性能分析
技术笔记:Linux内核跟踪和性能分析
|
3天前
|
Ubuntu Linux Windows
如何在WSL中的ubuntu编译Linux内核并且安装使用ebpf?
请注意,在WSL1中可能会由于内核架构限制而无法成功进行以上过程,WSL2对于Linux内核的完整支持更为合适。此外,部分步骤可能因不同的Linux发行版或内核版本而异。
13 4
|
2天前
|
Linux 开发者
Linux的诞生:Linus Torvalds的“惊天一敲”与Linux内核的“首秀”
在科技界璀璨星辰中,Linus Torvalds以一次“惊天一敲”悄然点燃了革命之火——Linux就此诞生。1991年,不满现状的Linus决定创造更好的操作系统,这一敲不仅开启了个人传奇,更奏响了技术革新的序章。他将Linux内核低调发布网络,随即吸引了全球开发者的目光与贡献,使之迅速成长为开源世界的巨星。Linus的故事告诉我们:伟大创举常源于微小想法,也许下一个改变世界的“一敲”就出自你手。
20 1
|
16天前
|
Ubuntu Linux 开发工具
深入探索Linux内核模块编程
【8月更文挑战第4天】在这篇文章中,我们不仅将探讨Linux内核模块的基础知识,还将通过一个实际的例子来展示如何编写一个简单的内核模块。我们将从理论出发,逐步过渡到动手实践,最终实现一个可以在Linux系统上运行的模块。文章的目标是为读者提供足够的信息和知识,以便他们能够自己编写内核模块,从而对操作系统的内部工作原理有更深入的了解。
|
18天前
|
Linux
Linux系统如何查看版本信息,内核、发行版、cpu、所有版本
Linux系统如何查看版本信息,内核、发行版、cpu、所有版本
|
19天前
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。
|
15天前
|
存储 Unix Linux
揭秘Linux硬件组成:从内核魔法到设备树桥梁,打造你的超级系统,让你的Linux之旅畅通无阻,震撼体验来袭!
【8月更文挑战第5天】Linux作为顶级开源操作系统,凭借其强大的功能和灵活的架构,在众多领域大放异彩。本文首先概述了Linux的四大核心组件:内核、Shell、文件系统及应用程序,并深入探讨了内核的功能模块,如存储、CPU及进程管理等。接着介绍了设备树(Device Tree),它是连接硬件与内核的桥梁,通过DTS/DTB文件描述硬件信息,实现了跨平台兼容。此外,还简要介绍了Linux如何通过本地总线高效管理硬件资源,并阐述了文件系统与磁盘管理机制。通过这些内容,读者可以全面了解Linux的硬件组成及其核心技术。
30 3
|
15天前
|
缓存 网络协议 Unix
Linux 内核参数
Linux 内核参数
24 1