Linux内核学习

简介: Linux内核学习

参考:

学习笔记

性能优化

  • Dool is a Python3 compatible fork of Dstat

OS Noise

Linux内核技术实战课

内核文档

  • 内核数据结构
  • 并发
  • 调度
  • 期限调度
  • 块设备
  • 内核启动参数(kernel boot parameters)

零碎知识

  • 获得内核编译过程中的某个.c文件的预处理后的文件,比如kernel/cgroup/cgroup.c
    make kernel/cgroup/cgroup.i
    类似的,可以获取对应的.s文件或者.o文件:
    make kernel/cgroup/cgroup.s 或者 make kernel/cgroup/cgroup.o
  • 驱动黑名单
  • log延迟输出

通过bmc连接服务器,有时由于log输出太快来不及抓到想要的信息,那么可以用这个方式增加log输出的时延。

boot_delay=     Milliseconds to delay each printk during boot.
                        Values larger than 10 seconds (10000) are changed to
                        no delay (0).
                        Format: integer

比如每个log输出时延迟10ms:

... boot_delay=10

内存

  • 查看系统中有哪些slab被合并了,或者称为slab alias
cd tools/vm
make
./slabinfo -a
  • 查看page的状态,系统或者进程视图
cd tools/vm
make
tools/vm/page-types.c

这个功能以来内核在/proc文件中导出的三个文件节点:fs\proc\page.c

/proc/kpagecgroup # 获取page的memcg信息
/proc/kpagecount  # 获取page_mapcount(page),前提比如是文件或者匿名页
/proc/kpageflags  # 获取page的flags,会转换为include\uapi\linux\kernel-page-flags.h中对应的标志位

Linux中的内存消耗数据

进程

  • 判断一个用户进程是不是主线程:对于主线程,task_struct的pid和tgid相等,对于其他线程,pid表示线程自己的pid,tgid表示这个线程所属的线程组的主线程的pid。线程组中所有线程的task_struct通过thread_group节点链在一起
  • linux 查看线程数的方法

IO

原子操作

常用节点

/proc

参考:

内存

/proc/iomem 和 /proc/ioport

文件:kernel/resource.c

iomem:查看当前注册的物理地址

ioport:查看当前注册的IO端口信息

相关代码

struct resource ioport_resource = {
  .name = "PCI IO",
  .start  = 0,
  .end  = IO_SPACE_LIMIT,
  .flags  = IORESOURCE_IO,
};
EXPORT_SYMBOL(ioport_resource);
 
struct resource iomem_resource = {
  .name = "PCI mem",
  .start  = 0,
  .end  = -1,
  .flags  = IORESOURCE_MEM,
};
EXPORT_SYMBOL(iomem_resource);
 
static int r_show(struct seq_file *m, void *v)
{
  struct resource *root = PDE_DATA(file_inode(m->file));
  struct resource *r = v, *p;
  unsigned long long start, end;
  int width = root->end < 0x10000 ? 4 : 8;
  int depth;
 
   /*计算子节点的缩进量*/
  for (depth = 0, p = r; depth < MAX_IORES_LEVEL; depth++, p = p->parent)
    if (p->parent == root)
      break;
 
  /* 权限检查,如果不是超级用户,那么看到的起始和结束物理地址都是0  */
  if (file_ns_capable(m->file, &init_user_ns, CAP_SYS_ADMIN)) {
    start = r->start;
    end = r->end;
  } else {
    start = end = 0;
  }
 
  seq_printf(m, "%*s%0*llx-%0*llx : %s\n",
      depth * 2, "",
      width, start,
      width, end,
      r->name ? r->name : "<BAD>");
  return 0;
}
 
static int __init ioresources_init(void)
{
  proc_create_seq_data("ioports", 0, NULL, &resource_op,
      &ioport_resource);
  proc_create_seq_data("iomem", 0, NULL, &resource_op, &iomem_resource);
  return 0;
}
__initcall(ioresources_init);

/proc/meminfo

根据/proc/meminfo了解统计主机内存使用

/sys/

/sys/kernel/debug

  • /sys/kernel/debug/kernel_page_talbes
    代码位置:arch/arm/mm/dump.c
    通过这个节点可以查看linux内核页表的映射信息,如虚拟地址范围以及地址属性。
相关文章
|
5天前
|
算法 Linux 调度
深入理解Linux内核调度器:从基础到优化####
本文旨在通过剖析Linux操作系统的心脏——内核调度器,为读者揭开其高效管理CPU资源的神秘面纱。不同于传统的摘要概述,本文将直接以一段精简代码片段作为引子,展示一个简化版的任务调度逻辑,随后逐步深入,详细探讨Linux内核调度器的工作原理、关键数据结构、调度算法演变以及性能调优策略,旨在为开发者与系统管理员提供一份实用的技术指南。 ####
24 4
|
9天前
|
缓存 算法 Linux
深入理解Linux内核调度器:公平性与性能的平衡####
真知灼见 本文将带你深入了解Linux操作系统的核心组件之一——完全公平调度器(CFS),通过剖析其设计原理、工作机制以及在实际系统中的应用效果,揭示它是如何在众多进程间实现资源分配的公平性与高效性的。不同于传统的摘要概述,本文旨在通过直观且富有洞察力的视角,让读者仿佛亲身体验到CFS在复杂系统环境中游刃有余地进行任务调度的过程。 ####
29 6
|
7天前
|
缓存 资源调度 安全
深入探索Linux操作系统的心脏——内核配置与优化####
本文作为一篇技术性深度解析文章,旨在引领读者踏上一场揭秘Linux内核配置与优化的奇妙之旅。不同于传统的摘要概述,本文将以实战为导向,直接跳入核心内容,探讨如何通过精细调整内核参数来提升系统性能、增强安全性及实现资源高效利用。从基础概念到高级技巧,逐步揭示那些隐藏在命令行背后的强大功能,为系统管理员和高级用户打开一扇通往极致性能与定制化体验的大门。 --- ###
28 9
|
6天前
|
缓存 负载均衡 Linux
深入理解Linux内核调度器
本文探讨了Linux操作系统核心组件之一——内核调度器的工作原理和设计哲学。不同于常规的技术文章,本摘要旨在提供一种全新的视角来审视Linux内核的调度机制,通过分析其对系统性能的影响以及在多核处理器环境下的表现,揭示调度器如何平衡公平性和效率。文章进一步讨论了完全公平调度器(CFS)的设计细节,包括它如何处理不同优先级的任务、如何进行负载均衡以及它是如何适应现代多核架构的挑战。此外,本文还简要概述了Linux调度器的未来发展方向,包括对实时任务支持的改进和对异构计算环境的适应性。
24 6
|
7天前
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
26 5
|
7天前
|
算法 Unix Linux
深入理解Linux内核调度器:原理与优化
本文探讨了Linux操作系统的心脏——内核调度器(Scheduler)的工作原理,以及如何通过参数调整和代码优化来提高系统性能。不同于常规摘要仅概述内容,本摘要旨在激发读者对Linux内核调度机制深层次运作的兴趣,并简要介绍文章将覆盖的关键话题,如调度算法、实时性增强及节能策略等。
|
8天前
|
存储 监控 安全
Linux内核调优的艺术:从基础到高级###
本文深入探讨了Linux操作系统的心脏——内核的调优方法。文章首先概述了Linux内核的基本结构与工作原理,随后详细阐述了内核调优的重要性及基本原则。通过具体的参数调整示例(如sysctl、/proc/sys目录中的设置),文章展示了如何根据实际应用场景优化系统性能,包括提升CPU利用率、内存管理效率以及I/O性能等关键方面。最后,介绍了一些高级工具和技术,如perf、eBPF和SystemTap,用于更深层次的性能分析和问题定位。本文旨在为系统管理员和高级用户提供实用的内核调优策略,以最大化Linux系统的效率和稳定性。 ###
|
7天前
|
Java Linux Android开发
深入探索Android系统架构:从Linux内核到应用层
本文将带领读者深入了解Android操作系统的复杂架构,从其基于Linux的内核到丰富多彩的应用层。我们将探讨Android的各个关键组件,包括硬件抽象层(HAL)、运行时环境、以及核心库等,揭示它们如何协同工作以支持广泛的设备和应用。通过本文,您将对Android系统的工作原理有一个全面的认识,理解其如何平衡开放性与安全性,以及如何在多样化的设备上提供一致的用户体验。
|
7天前
|
缓存 运维 网络协议
深入Linux内核架构:操作系统的核心奥秘
深入Linux内核架构:操作系统的核心奥秘
24 2
|
9天前
|
监控 网络协议 算法
Linux内核优化:提升系统性能与稳定性的策略####
本文深入探讨了Linux操作系统内核的优化策略,旨在通过一系列技术手段和最佳实践,显著提升系统的性能、响应速度及稳定性。文章首先概述了Linux内核的核心组件及其在系统中的作用,随后详细阐述了内存管理、进程调度、文件系统优化、网络栈调整及并发控制等关键领域的优化方法。通过实际案例分析,展示了这些优化措施如何有效减少延迟、提高吞吐量,并增强系统的整体健壮性。最终,文章强调了持续监控、定期更新及合理配置对于维持Linux系统长期高效运行的重要性。 ####