Linux 内核来了

简介: 1991 年,[Linus Torvalds](https://en.wikipedia.org/wiki/Linus_Torvalds) 同学入手了一台个人计算机(PC)。 当时可用的操作系统有商用 Unix 和 PC Windows,两者都价格不菲,于是 Linus 决定写一个操作系统(内核)来驱动自己的计算机(?)。 其参考 Unix 实现并用自己的名字与 Unix 合并来命名,即 Li

1991 年,Linus Torvalds 同学入手了一台个人计算机(PC)。
当时可用的操作系统有商用 Unix 和 PC Windows,两者都价格不菲,于是 Linus 决定写一个操作系统(内核)来驱动自己的计算机(?)。
其参考 Unix 实现并用自己的名字与 Unix 合并来命名,即 Linux。

一直想写一些 Linux 内核学习笔记,这是第一篇。本文在 ubuntu 16.04 下操作演示,需要安装的软件包:

sudo apt-get update
sudo apt-get install qemu-kvm busybox-static -y

内核在哪里

GNU/Linux 系统下 /vmlinuz 软链接通常指向计算机最新安装的内核文件:

$ ll /vmlinuz
lrwxrwxrwx 1 root root 30 2月  24 21:45 /vmlinuz -> boot/vmlinuz-4.4.0-116-generic

$ ll -h /boot/vmlinuz-4.4.0-116-generic
-rw------- 1 root root 6.9M 2月  13 08:57 /boot/vmlinuz-4.4.0-116-generic

$ sudo file /boot/vmlinuz-4.4.0-116-generic
/boot/vmlinuz-4.4.0-116-generic: Linux kernel x86 boot executable bzImage, version 4.4.0-116-generic (buildd@lgw01-amd64-021) #140-Ubuntu SMP Mon , RO-rootFS, swap_dev 0x6, Normal VGA

没有错,这是一个只有 6.9M 的单文件二进制文件,
就是 这个只有几 M 的单文件负责启动计算机,管理硬件资源,提供程序运行环境(详情参考操作系统课程)。

当然,你也可以自己从源码构建内核,或者从软件仓库或网上下载安装其他内核版本。

如何使用内核启动计算机

从前使用古董 BIOS 主板和古董内核时,把内核二进制文件刻在磁盘起始处(硬编码内核启动参数),
BIOS 主板通电自检后尝试加载磁盘第一个扇区的代码,即内核引导代码,随后内核完成自加载。
现代计算机软硬件发展成熟, 通常使用引导器(GRUB)加载内核

启动裸机

测试内核启动最简便的方式就是使用 qemu 虚拟机。KVM/qemu 广泛应用于 OpenStack 等云计算环境和我的个人电脑。

创建并启动一台虚拟机:

qemu-system-x86_64 -enable-kvm -cpu host -smp 1 -m 1G
  • -enable-kvm 开启 KVM 硬件虚拟化(通常会自动开启),-cpu host 透传宿主机 CPU。
  • -smp 1 1 核 CPU,-m 1G 1G 内存。

运行后可看到虚拟机启动失败。当然会失败,因为这是台裸机。

加载内核

qemu 虚拟机还支持直接加载内核文件 (类似引导器),简直不要太方便。

sudo cp -L /vmlinuz ./
sudo chown $USER: ./vmlinuz 
qemu-system-x86_64 -enable-kvm -cpu host -smp 1 -m 1G -kernel ./vmlinuz
  • 前面看到,本机系统内核文件只有 root 有访问权限。没关系,拷贝一份过来,修改所有者为当前用户。
  • -kernel ./vmlinuz 指定加载宿主机上的内核文件。

果然,内核愉快的加载起来了,同时愉快的报错:"Unable to mount root fs"。

10-qemu-kernel-only.png

虚拟机没有磁盘,找不到根文件系统,意料之中。

配置根文件系统

没有根文件系统?不存在的。新建一个文件做硬盘,创建文件系统:

truncate -s 1G sda.raw
mkfs.ext4 sda.raw -F

启动虚拟机:

qemu-system-x86_64 -enable-kvm -cpu host -smp 1 -m 1G -drive file=sda.raw,format=raw -kernel ./vmlinuz -append "root=/dev/sda"
  • -drive file=sda.raw,format=raw,指定文件做硬盘。
  • -append 追加内核启动参数。
  • root=/dev/sda,内核启动参数,指定设备作为根文件系统。

运行结果:

11-qemu-no-init.png

内核只负责准备好运行环境,系统服务管理、用户交互等是 init 和 shell 的事。所以内核叫内核,shell 叫外壳嘛。
内核启动完成后尝试执行 init,默认路径 /sbin/init,很遗憾这个文件不存在。
内核参数 init= 可自定义 init 文件路径。

配置 init

init 怎么配置,要装一套系统吗,好怕怕。没关系,祭出上古神器 busybox(盒子很忙)。

busybox sh

busybox 可提供基本 shell 环境,其只有一个单文件可执行文件。将其拷贝到虚拟机硬盘,创建 /bin/sh 软链接。

sudo mount -o loop sda.raw /mnt/
sudo rsync -rtpLOi /bin/busybox -R /mnt/
sudo ln -s /bin/busybox /mnt/bin/sh
sudo umount /mnt 
  • 挂载虚拟机硬盘到宿主机,操作完成后再卸载。以后要修改虚拟机硬盘内容时,总是这样操作。

再次启动虚拟机:

qemu-system-x86_64 -enable-kvm -cpu host -smp 1 -m 1G -drive file=sda.raw,format=raw -kernel ./vmlinuz -append "root=/dev/sda init=/bin/sh"
  • init=/bin/sh 指定 init 路径。不能指定 init 启动参数,init 可以使用内核参数(保存在 /proc/cmdline)或配置文件配置。

运行结果:

12-qemu-busybox-sh.png

  • 成功启动 busybox sh,可以执行基本命令和操作,查看 sh 进程 PID 为 1,即第一个用户进程。
  • 此时还是有一些错误:根文件系统是只读的,devtmpfs 挂载失败,关键系统目录(/proc 等)未挂载,
    终端控制台(tty)无法访问(因此 busybox 命令别名未启用,需要用 busybox ls 等访问)。

busybox init

尝试配置更完整的系统环境。
busybox 包含基本的 init 能力,类似 sysv-init,支持使用 /etc/inittab 配置文件。
经测试无 /etc/inittab 文件时其尝试执行 /etc/init.d/rcS 初始化。

为方便使用,为 busybox 所有命令安装软链接。创建相关系统目录。

sudo chroot /mnt/ /bin/busybox --install -s /bin/
( cd /mnt/ && sudo mkdir dev/ proc/ sys/ etc/ tmp/ var/ run/ -p )

编写 rcS 初始化脚本,挂载相关系统目录:

#!/bin/sh
set -e
if test -z "$(ls dev/)" ; then
    mount -t devtmpfs devtmpfs dev/
fi
mkdir -p dev/pts
for e in "proc proc proc/" "sysfs sysfs sys/" "devpts devpts dev/pts/" ; do mount -t ${e} ; done
# TODO fix root fs readonly, make it writable
mount -o remount,rw /
if ! ( test -d var/run || ( test -L var/run && test "$(readlink var/run)" = /run ) ) ; then
    ln -sf /run var/
fi
mount -t tmpfs -o nosuid,noexec,size=100m,mode=755 tmpfs run/
mkdir run/lock

使用 busybox init(软链接路径 /bin/init)运行虚拟机:

qemu-system-x86_64 -enable-kvm -cpu host -smp 1 -m 1G -drive file=sda.raw,format=raw -kernel ./vmlinuz -append "root=/dev/sda init=/bin/init"

结果如下:

13-qemu-busybox-init.png

  • 可看到成功使用两个二进制文件(内核 + busybox)加一个脚本(rcS)启动虚拟机。
    这是一个轻量级的虚拟机,具备基本可用的运行环境。
  • 此时 busybox 作为 init 使用时,还会创建子进程通过控制台提供可用的 shell 环境。
    演示中 grep -vF '[' 用于过滤掉内核线程,只显示用户进程。

有同学会问,是不是只要在 rcS 里增加应用启动脚本(或者配置 inittab),就可以做一个“应用容器”了呢?是的。

两阶段启动

内核必须保持小而精
如今 Linux 社区发展成熟而庞大,包含丰富的硬件驱动和内核模块等。
Linux 支持两阶段启动,启动时需要的驱动、模块和脚本等,被放在一个叫 initrd 的地方,以保持内核小而精。
比如 Linux 网络启动(本地无盘),网卡驱动、配置脚本、nfs 客户端等都放在 initrd 中。
第一阶段基础内核启动,第二阶段再执行 initrd 。

系统上看,每个内核文件对应一个 initrd 文件:

$ ll -h /boot/vmlinuz-4.4.0-116-generic /boot/initrd.img-4.4.0-116-generic --sort=none
-rw------- 1 root root 6.9M 2月  13 08:57 /boot/vmlinuz-4.4.0-116-generic
-rw-r--r-- 1 root root  38M 2月  24 21:46 /boot/initrd.img-4.4.0-116-generic

initrd 定制相对自由,可以包含很多东西(通常还附送 busybox)。
通常使用通用型内核和 initrd,以兼容各种硬件和环境。
如果针对特定硬件和环境定制,那么内核和 initrd 可以做的很小,即嵌入式场景,现在也叫 IoT 。

两阶段启动怎么玩?且听下回分解。

原文链接

相关文章
|
5天前
|
算法 Linux 调度
深入理解Linux内核调度器:从基础到优化####
本文旨在通过剖析Linux操作系统的心脏——内核调度器,为读者揭开其高效管理CPU资源的神秘面纱。不同于传统的摘要概述,本文将直接以一段精简代码片段作为引子,展示一个简化版的任务调度逻辑,随后逐步深入,详细探讨Linux内核调度器的工作原理、关键数据结构、调度算法演变以及性能调优策略,旨在为开发者与系统管理员提供一份实用的技术指南。 ####
24 4
|
9天前
|
缓存 算法 Linux
深入理解Linux内核调度器:公平性与性能的平衡####
真知灼见 本文将带你深入了解Linux操作系统的核心组件之一——完全公平调度器(CFS),通过剖析其设计原理、工作机制以及在实际系统中的应用效果,揭示它是如何在众多进程间实现资源分配的公平性与高效性的。不同于传统的摘要概述,本文旨在通过直观且富有洞察力的视角,让读者仿佛亲身体验到CFS在复杂系统环境中游刃有余地进行任务调度的过程。 ####
30 6
|
8天前
|
缓存 资源调度 安全
深入探索Linux操作系统的心脏——内核配置与优化####
本文作为一篇技术性深度解析文章,旨在引领读者踏上一场揭秘Linux内核配置与优化的奇妙之旅。不同于传统的摘要概述,本文将以实战为导向,直接跳入核心内容,探讨如何通过精细调整内核参数来提升系统性能、增强安全性及实现资源高效利用。从基础概念到高级技巧,逐步揭示那些隐藏在命令行背后的强大功能,为系统管理员和高级用户打开一扇通往极致性能与定制化体验的大门。 --- ###
29 9
|
6天前
|
缓存 负载均衡 Linux
深入理解Linux内核调度器
本文探讨了Linux操作系统核心组件之一——内核调度器的工作原理和设计哲学。不同于常规的技术文章,本摘要旨在提供一种全新的视角来审视Linux内核的调度机制,通过分析其对系统性能的影响以及在多核处理器环境下的表现,揭示调度器如何平衡公平性和效率。文章进一步讨论了完全公平调度器(CFS)的设计细节,包括它如何处理不同优先级的任务、如何进行负载均衡以及它是如何适应现代多核架构的挑战。此外,本文还简要概述了Linux调度器的未来发展方向,包括对实时任务支持的改进和对异构计算环境的适应性。
24 6
|
7天前
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
26 5
|
8天前
|
算法 Unix Linux
深入理解Linux内核调度器:原理与优化
本文探讨了Linux操作系统的心脏——内核调度器(Scheduler)的工作原理,以及如何通过参数调整和代码优化来提高系统性能。不同于常规摘要仅概述内容,本摘要旨在激发读者对Linux内核调度机制深层次运作的兴趣,并简要介绍文章将覆盖的关键话题,如调度算法、实时性增强及节能策略等。
|
9天前
|
存储 监控 安全
Linux内核调优的艺术:从基础到高级###
本文深入探讨了Linux操作系统的心脏——内核的调优方法。文章首先概述了Linux内核的基本结构与工作原理,随后详细阐述了内核调优的重要性及基本原则。通过具体的参数调整示例(如sysctl、/proc/sys目录中的设置),文章展示了如何根据实际应用场景优化系统性能,包括提升CPU利用率、内存管理效率以及I/O性能等关键方面。最后,介绍了一些高级工具和技术,如perf、eBPF和SystemTap,用于更深层次的性能分析和问题定位。本文旨在为系统管理员和高级用户提供实用的内核调优策略,以最大化Linux系统的效率和稳定性。 ###
|
8天前
|
Java Linux Android开发
深入探索Android系统架构:从Linux内核到应用层
本文将带领读者深入了解Android操作系统的复杂架构,从其基于Linux的内核到丰富多彩的应用层。我们将探讨Android的各个关键组件,包括硬件抽象层(HAL)、运行时环境、以及核心库等,揭示它们如何协同工作以支持广泛的设备和应用。通过本文,您将对Android系统的工作原理有一个全面的认识,理解其如何平衡开放性与安全性,以及如何在多样化的设备上提供一致的用户体验。
|
10天前
|
Linux 数据库
Linux内核中的锁机制:保障并发操作的数据一致性####
【10月更文挑战第29天】 在多线程编程中,确保数据一致性和防止竞争条件是至关重要的。本文将深入探讨Linux操作系统中实现的几种关键锁机制,包括自旋锁、互斥锁和读写锁等。通过分析这些锁的设计原理和使用场景,帮助读者理解如何在实际应用中选择合适的锁机制以优化系统性能和稳定性。 ####
27 6
|
10天前
|
机器学习/深度学习 负载均衡 算法
深入探索Linux内核调度机制的优化策略###
本文旨在为读者揭开Linux操作系统中至关重要的一环——CPU调度机制的神秘面纱。通过深入浅出地解析其工作原理,并探讨一系列创新优化策略,本文不仅增强了技术爱好者的理论知识,更为系统管理员和软件开发者提供了实用的性能调优指南,旨在促进系统的高效运行与资源利用最大化。 ###