用Rust语言开发Linux内核,得先过内存模型这关

简介: 最近Rust For Linux的项目,随着Rust的火爆也开始逐渐升温,但是谷歌的强烈支持以及rCore OS、Redox等各种Rust操作系统项目的经验积累,Rust想进入到Linux的真正核心,也还是有很长的路要走,之前笔者已经撰文对于Rust在汇编支持、panic和alloc等系统操作等方面的问题进行过简要说明了。这里再对于Rust进入到Linux内核的最大拦路虎-也就是内存模型方面的问题,做一下介绍。


最近Rust For Linux的项目,随着Rust的火爆也开始逐渐升温,但是谷歌的强烈支持以及rCore OSRedox等各种Rust操作系统项目的经验积累,Rust想进入到Linux的真正核心,也还是有很长的路要走,之前笔者已经撰文对于Rust在汇编支持、panic和alloc等系统操作等方面的问题进行过简要说明了。这里再对于Rust进入到Linux内核的最大拦路虎-也就是内存模型方面的问题,做一下介绍。

内存模型对于操作系统为何如此重要

我们这里所说的内存模型并不是操作系统管理和分配内存的机制,而是对于程序指令执行顺序及可打断性的执行策略,内存模型在单核单线程的时代几乎没有意义,直到2004年,Java率先引入了适用于多线程环境的内存模型JSR-133,,自此多核时代下操作系统中内存模型的正式登场。

简单的讲当下最新的编译器、操作系统及处理器等等底层技术栈,都会进行某种程度上对于代码进行重排,以获取执行效率的提升,比如以下代码

x=getStatus()
if (x>0)
    y = x;
else
y = 0;

image.gif

就可能被编译器优化为以下的代码:

y=0
x=getStatus()
if (x>0)
    y = x;

image.gif

当然这样的执行顺序重排都有一项重要的原则,就是不会影响单线程环境下程序的执行结果,但是在多线程并发的情况下,y在x之前先被赋值,这对于程序逻辑是否会有潜在影响,这就是内存模型要面对的问题。

简单来讲,可以认为内存模型是一种程序性能与程序复杂性之间的平衡策略一般来讲内存模型主要包含了下面三个部分:

原子操作:原子类操作一旦执行就不会被打断,是一种不存在中间状态的操作,它要么是执行完成,要么执行失败,外界无法观测到执行过程中的状态。

指令执行顺序定义哪些指令执行的顺序不能被打乱

操作的可见性:定义哪些操作是需要被其它线程所看到

内存模型与内存屏障指令对应,无论是写屏障(writebarrier)、读屏障(readbarrier)、还是通用屏障(genericbarrier)其实都是对于这几方面的行为进行明确定义的操作指令。

当然这里并不是要详细介绍内存模型,只是要说明当Rust只进行应用程序的开发时,这门语言大可以不用在意内存模型因为编译器只负责生成可执行的字节码,至于如何执行那是底层的操作系统和CPU的问题,但是当Rust编写无限接近计算机底层”的操作内核时内存模型就会变得很重要。内存模型是多线程环境能够可靠工作的基础,因为内存模型需要对多线程环境的运作细节进行完备的定义。

效率和锁的矛盾

加锁实际上就是限制了多线程计算机体系的运行效率,因为在同一时刻即使你有多个CPU也只能有一个CPU进程在被锁保护的区域工作,因此尽量少用锁甚至不用锁才是最终的目标,但无锁编程是一巨大的挑战。它的难度不仅仅是因为无锁编程本身的复杂度,更在于多线程体系下无锁系统的设计,可能很难被非技术出身的领导所理解,这其中的复杂度积累是非线性的,这里先推荐一下an-introduction-to-lock-free-programming(http://preshing.com/20120612/an-introduction-to-lock-free-programming。)

以最经典的无锁队列为例:

void LockFreeQueue::push(Node* newHead) 
{ 
    for (;;) 
    { 
        //复制共享变量(m_Head)到oldHead 
        Node* oldHead = m_Head; 
       //做一些不能被其他线程感知的工作
        newHead->next = oldHead; 
        // 然后尝试将改动发送到共享变量中 
        // 如果共享内存没有改变,则CAS成功,返回 
       if (_InterlockedCompareExchange(&m_Head, newHead, oldHead) == oldHead) 
            return; 
    } 
}

image.gif

这里InterlockedCompareExchange的实现简要说明如下:

int compare_and_swap (int* reg, int newval, int oldval)
 {
 int old_reg_val = *reg;
  if (old_reg_val == oldval) {
    *reg = newval;
 }
  return old_reg_val;
}

image.gif

可以看到这里无锁的概念其实就是在测试与共享变量reg是否有变化,如果没有变化则操作成功,如果有变化则无需要再操作,因为肯定有其它线程修改了队列。那么这其中最关键的一点就是要对于内存模型中的可见性进行定义了。内存模型必须要保证对于reg的操作如:*reg = newval;对于其它线程是可见的,否则所谓的无锁队列也就不成立了。

Rust中的与众不同的锁

上月底谷歌发布了一个RUST版本GPIO驱动,详见:https://github.com/wedsonaf,其中令人印象最深刻的是RUST和C语言在锁方面的不同

C语言中锁的典型用法如下:

raw_spin_lock_irqsave(&pl061->lock, flags);
gpiodir = readb(pl061->base + GPIODIR);
gpiodir &= ~(BIT(offset));
writeb(gpiodir, pl061->base + GPIODIR);
raw_spin_unlock_irqrestore(&pl061->lock, flags);

image.gif

Rust中锁的用法如下:

let _guard = data.lock();
        let pl061 = data.resources().ok_or(Error::ENXIO)?;

image.gif

       

可以看到Rust中的lock锁是与具体要保护的数据是有强绑定关系的,开发者要调用data.lock()将锁进行锁定,只有这样才能受锁保护的数据才能被访问,因此程序员在使用犯错误,不可能出现锁的张冠李戴,但这也会造成其它的问题,由于Rust的变量都是有严格的生命周期及借用机制的,因此锁也很可能要在内存中移动,内存中对象的移动、所有权借用等等除了造成移动锁之外还会有移动构造函数等等问题。

但是移动锁、还移动构造函数这些概念在之前的Linux中几乎是闻所未闻的,还是那句话,这样的问题在Rust只开发上层应用时都不是问题,但一旦深入到操作系统内核,这些就都成了问题,所以说Rust想真正深入到Linux的内核当中还有很多的路要走。

相关文章
|
4月前
|
Ubuntu 搜索推荐 Linux
详解Ubuntu的strings与grep命令:Linux开发的实用工具。
这就是Ubuntu中的strings和grep命令,透明且强大。我希望你喜欢这个神奇的世界,并能在你的Linux开发旅程上,通过它们找到你的方向。记住,你的电脑是你的舞台,在上面你可以做任何你想做的事,只要你敢于尝试。
246 32
|
2月前
|
监控 Linux 开发者
理解Linux操作系统内核中物理设备驱动(phy driver)的功能。
综合来看,物理设备驱动在Linux系统中的作用是至关重要的,它通过与硬件设备的紧密配合,为上层应用提供稳定可靠的通信基础设施。开发一款优秀的物理设备驱动需要开发者具备深厚的硬件知识、熟练的编程技能以及对Linux内核架构的深入理解,以确保驱动程序能在不同的硬件平台和网络条件下都能提供最优的性能。
94 0
|
5月前
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
221 67
|
6月前
|
JavaScript Linux 网络安全
Termux安卓终端美化与开发实战:从下载到插件优化,小白也能玩转Linux
Termux是一款安卓平台上的开源终端模拟器,支持apt包管理、SSH连接及Python/Node.js/C++开发环境搭建,被誉为“手机上的Linux系统”。其特点包括零ROOT权限、跨平台开发和强大扩展性。本文详细介绍其安装准备、基础与高级环境配置、必备插件推荐、常见问题解决方法以及延伸学习资源,帮助用户充分利用Termux进行开发与学习。适用于Android 7+设备,原创内容转载请注明来源。
1116 77
|
3月前
|
存储 负载均衡 算法
Linux2.6内核进程调度队列
本篇文章是Linux进程系列中的最后一篇文章,本来是想放在上一篇文章的结尾的,但是想了想还是单独写一篇文章吧,虽然说这部分内容是比较难的,所有一般来说是简单的提及带过的,但是为了让大家对进程有更深的理解与认识,还是看了一些别人的文章,然后学习了学习,然后对此做了总结,尽可能详细的介绍明白。最后推荐一篇文章Linux的进程优先级 NI 和 PR - 简书。
90 0
|
5月前
|
存储 Linux
Linux内核中的current机制解析
总的来说,current机制是Linux内核中进程管理的基础,它通过获取当前进程的task_struct结构的地址,可以方便地获取和修改进程的信息。这个机制在内核中的使用非常广泛,对于理解Linux内核的工作原理有着重要的意义。
193 11
|
6月前
|
自然语言处理 监控 Linux
Linux 内核源码分析---proc 文件系统
`proc`文件系统是Linux内核中一个灵活而强大的工具,提供了一个与内核数据结构交互的接口。通过本文的分析,我们深入探讨了 `proc`文件系统的实现原理,包括其初始化、文件的创建与操作、动态内容生成等方面。通过对这些内容的理解,开发者可以更好地利用 `proc`文件系统来监控和调试内核,同时也为系统管理提供了便利的工具。
236 16
|
8月前
|
Ubuntu Linux 开发者
Ubuntu20.04搭建嵌入式linux网络加载内核、设备树和根文件系统
使用上述U-Boot命令配置并启动嵌入式设备。如果配置正确,设备将通过TFTP加载内核和设备树,并通过NFS挂载根文件系统。
418 15
|
8月前
|
安全 Linux 测试技术
Intel Linux 内核测试套件-LKVS介绍 | 龙蜥大讲堂104期
《Intel Linux内核测试套件-LKVS介绍》(龙蜥大讲堂104期)主要介绍了LKVS的定义、使用方法、测试范围、典型案例及其优势。LKVS是轻量级、低耦合且高代码覆盖率的测试工具,涵盖20多个硬件和内核属性,已开源并集成到多个社区CICD系统中。课程详细讲解了如何使用LKVS进行CPU、电源管理和安全特性(如TDX、CET)的测试,并展示了其在实际应用中的价值。
187 4
|
10月前
|
负载均衡 算法 Linux
深入探索Linux内核调度器:公平与效率的平衡####
本文通过剖析Linux内核调度器的工作机制,揭示了其在多任务处理环境中如何实现时间片轮转、优先级调整及完全公平调度算法(CFS),以达到既公平又高效地分配CPU资源的目标。通过对比FIFO和RR等传统调度策略,本文展示了Linux调度器如何在复杂的计算场景下优化性能,为系统设计师和开发者提供了宝贵的设计思路。 ####
182 26