Linux内核之旅:揭秘关键的数据结构设计

简介: Linux内核之旅:揭秘关键的数据结构设计

前言:内核数据结构是操作系统内核中用于管理和组织各种数据的数据类型或数据结构。它们提供了对进程、文件系统、设备驱动程序等系统资源的表示和访问方式。

Linux内核实现了一些通用的数据结构,提倡大家在开发时重用,内核开发者应该尽可能地使用这些数据结构。最常用的有:链表、队列、映射、二叉树

一、链表

(1)链表是一种存放和操作可变数量元素(节点)的数据结构,动态创建,无需在内存中占用连续内存区。每个元素都必须包含指向下一个元素的指针,当有元素加入或从链表中删除时,只需要调整相应指针即可。

单向链表,每个节点指向一个后驱

1.  /* an element in a linked list */ 
2.  struct list_element {
3.  void *data; /* the payload */
4.  struct list_element *next; /* pointer to the next element */
5.  };

双向链表:每个节点分别有一个指向后驱和一个指向前驱的指针

1.  /* an element in a linked list */ 
2.  struct list_element {
3.  void *data; /* the payload */
4.  struct list_element *next; /* pointer to the next element */
5.  struct list_element *prev; /* pointer to the previous element */
6.  };

环形链表:将最后一个节点的next指向头节点,头节点的prev指向最后一个节点

因为双向环形链表提供了最大的灵活性,所以Linux内核的标准链表采用环形双向链表实现的。

沿链表移动

沿链表移动只能是线性移动,先访问某个元素,然后向后访问下一个元素,不断如此重复后移;如果需要随机访问,一般不用链表。

使用链表的理想情况是:需要遍历所有数据或需要动态加入或删除数据时。

(2) Linux内核中链表的实现

①Linux内核实现方式独树一帜,它不是将数据结构塞入链表,而是将链表节点塞入数据结构;

链表结构在中声明

struct list_head {
    struct list_head *next, *prev;
};

比如创建一个fox数据结构来描述犬科动物一员,存储链表节点到fox数据结构中

1.  struct fox { 
2.  unsigned long tail_length; /* length in centimeters of tail */
3.  unsigned long weight; /* weight in kilograms */
4.  bool is_fantastic; /* is this fox fantastic? */
5.  struct list_head list; /* list of all fox structures */
6.  };

Fox中的list.next指向下一个元素,list.prev指向前一个元素,这样链表就可以被内核使用了。可以用一系列list_add(),list_del()等来操作,但他们有个共同特点,就是只接受list_head结构参数。

这样内核就用一个统一的链表实现,可以操作各种数据结构的应用;使用container_of宏可以很方便的从链表指针找到父结构中任何成员变量;

1.  #define container_of(ptr, type, member) ({            \ 
2.  const typeof(((type *)0)->member) * __mptr = (ptr);    \
3.  (type *)((char *)__mptr - offsetof(type, member)); })
4.  #endif

在C语言中,一个给定结构中的变量偏移,在编译时地址就被ABI固定下来了。

使用container_of()宏,定义一个简单的函数可以方便的返回包含list_head的父类结构体;

1.  /** 
2.  * list_entry - get the struct for this entry
3.  * @ptr:    the &struct list_head pointer.
4.  * @type:    the type of the struct this is embedded in.
5.  * @member:    the name of the list_struct within the struct.
6.  */
7.  #define list_entry(ptr, type, member) \
8.  container_of(ptr, type, member)

依靠list_entry()方法,内核提供了创建,操作以及其他管理链表的各种例程—所有这些方法都不需要知道list_head所嵌入对象的数据结构。

②定义一个链表list_head本身并没有意义,它需要被嵌入到你自己的数据结构中才能生效。

1.  struct fox { 
2.  unsigned long tail_length; /* length in centimeters of tail */
3.  unsigned long weight; /* weight in kilograms */
4.  bool is_fantastic; /* is this fox fantastic? */
5.  struct list_head list; /* list of all fox structures */
6.  };

链表使用前需要初始化:运行时动态初始化链表

1.  struct fox *red_fox; 
2.  red_fox = kmalloc(sizeof(*red_fox), GFP_KERNEL);
3.  red_fox->tail_length = 40;
4.  red_fox->weight = 6;
5.  red_fox->is_fantastic = false;
6.  INIT_LIST_HEAD(&red_fox->list);

如果一个结构在编译期静态创建,而你需要在其中一个链表中直接引用,下面方式最简洁:

1.  struct fox red_fox = { 
2.  .tail_length = 40,
3.  .weight = 6,
4.  .list = LIST_HEAD_INIT(red_fox.list),
5.  };

如果需要明确的链表头,也可以这样声明

static LIST_HEAD(fox_list);

(3)链表基本操作(算法复杂度全都是O(1))

static inline void list_add(struct list_head *new, struct list_head *head);

list_add向链表头后面添加新项,可以用来实现一个栈;

假定创建一个新的struct fox,并把它加入fox_list,那么

list_add(&f->list,&fox_list)
static inline void list_add_tail(struct list_head *new, struct list_head *head);

list_add_tail向链表头的前面添加节点,可以实现一个FIFO;

static inline void list_del(struct list_head *entry);

例如删除上面添加的f, list_del(&f->list);如果entry删除之后,还有可能添加到另一个链表,删除之后,还应做初始化,用

static inline void list_del_init(struct list_head *entry);
static inline void list_move(struct list_head *list, struct list_head *head);

把节点list从链表中移除,然后加入另一个链表head节点的后面;

static inline void list_move_tail(struct list_head *list, struct list_head *head);

把节点list从链表中移除,然后加入另一个链表head节点的前面;

static inline int list_empty(const struct list_head *head);检查链表是否为空
 static inline void list_splice(const struct list_head *list, struct list_head *head)

把链表list添加到head的后面去,还有其他更多操作参见。

(4)遍历链表:算法复杂度是O(n)

1.  list_for_each_entry(pos, head, member); 
2.  struct fox *f;
3.  list_for_each_entry(f, &fox_list, list) {
4.  /* on each iteration, ‘f’ points to the next fox structure ... */
5.  if (f->is_fantastic) return f;
6.  }

上面宏中f返回每次获取的结构体,fox_list是链表头, list是链表头在fox结构体里的成员名字

list_for_each_entry_reverse(pos, head, member);//反向遍历
list_for_each_entry_safe(pos, n, head, member);//遍历可以删除pos,n与pos同类型

注意:当用list_for_each_entry()的安全版本遍历链表时,有可能会有其他地方并发操作删除节点,所以做删除操作时,必须锁定链表。

二、队列

任何操作系统内核都少不了一种编程模型:生产者和消费者。生产者产生数据,消费者处理数据。实现该模型,最简单的就是队列。生产者将数据入队列,消费者摘取数据。

Linux内核通用队列实现为kfifo,在声明:

(1)创建队列

int kfifo_alloc(struct kfifo *fifo, unsigned int size, gfp_t gfp_mask);//成功返回0
void kfifo_init(struct kfifo *fifo, void *buffer, unsigned int size);//用buffer指向的内存来实现fifo

静态声明

DECLARE_KFIFO(name,size);
INIT_KFIFO(name);

(2)操作队列

入列 :unsigned int kfifo_in(struct kfifo *fifo, const void *from, unsigned int len);
出列 :unsigned int kfifo_out(struct kfifo *fifo, void *to, unsigned int len);
出列的数据,就不存在于fifo中了,要是只“偷窥”队列中数据,而不想删除它,可以用
unsigned int kfifo_out_peek(struct kfifo *fifo, void *to, unsigned int len, unsigned offset);

(3)其他操作

获取kfifo总体大小
static inline __must_check unsigned int kfifo_size(struct kfifo *fifo);
获取Kfifo中已推入数据长度
static inline unsigned int kfifo_len(struct kfifo *fifo);
获取Kfifo中海油多少空间可用
static inline __must_check unsigned int kfifo_avail(struct kfifo *fifo);
判断kfifo为空或满
static inline __must_check int kfifo_is_empty(struct kfifo *fifo);
static inline __must_check int kfifo_is_full(struct kfifo *fifo);
销毁队列
void kfifo_free(struct kfifo *fifo);
重置队列
static inline void kfifo_reset(struct kfifo *fifo);//抛弃所有队列内容

三、映射

虽然散列表是一种映射,但并非所有映射都是散列表实现的。此外,还可以用自平衡二叉搜索树存储数据。散列表提供更好的平均的渐进复杂度,但二叉搜索树在最坏的情况下能有更好的表现(对数复杂性相比线性复杂性),散列表同时满足顺序保证。

一个映射至少实现三种操作:

*add (key, value)
*remove(key)
*value = lookup(key)

Linux内核提供了一个简单有效的映射数据结构,但并非是通用的映射,它的目标是:映射一个唯一的标识数(UID)到一个指针。

(1)初始化一个idr

void idr_init(struct idr *idp);
For example:
struct idr id_huh; /* statically define idr structure */
idr_init(&id_huh); /* initialize provided idr structure */ (2)

(2)分配一个新的UID,分两步

①调整后备树大小方法

int idr_pre_get(struct idr *idp, gfp_t gfp_mask);//成功返回1

②获取新的UID,并将其添加到idr的方法

int idr_get_new(struct idr *idp, void *ptr, int *id);//分配新UID关联到ptr上,UID存于id

1.  Let’s look at a full example: 
2.  int id;
3.  do {
4.  if (!idr_pre_get(&idr_huh, GFP_KERNEL))
5.  return -ENOSPC;
6.  ret = idr_get_new(&idr_huh, ptr, &id);
7.  } while (ret == -EAGAIN);

如果成功,上述代码将获得一个新的UID,它被存储在变量id中,并且将UID映射到ptr。

int idr_get_new_above(struct idr *idp, void *ptr, int starting_id, int *id);//可以指定一个最小UID,这样除了新的UID大雨或等于starting_id外,还确保UID系统运行期间唯一。

(3)查找UID

void *idr_find(struct idr *idp, int id);//调用成功返回ptr指针,失败返回NULL,所以最好不要将UID映射到空指针,这样无法区分调用成功还是失败。

1.  Usage is simple: 
2.  struct my_struct *ptr = idr_find(&idr_huh, id);
3.  if (!ptr)
4.  return -EINVAL; /* error */

(4)删除UID

void idr_remove(struct idr *idp, int id);//id关联指针从映射中删除

(5)撤销idr

void idr_destroy(struct idr *idp);//释放idr中未使用内存,通常内核不会撤销idr,除非关闭或卸载。若需要强制删除所有UID
void idr_remove_all(struct idr *idp);
应该先调用idr_remove_all(),然后调用idr_destroy(),这样就能是idr占用的内存都被释放。

四、二叉树

树,是一个能提供分层的树形数据结构的特定数据结构。在数学意义上,树是一个无环的、链接的有向图。任何一个节点有0或1个入边,0或多个出边。

二叉树,是指每个节点最多只有2个出边的树。

(1)二叉搜索树(binary search trees),是一个节点有序的二叉树,其遵循下列法则:

  • 根的左分支节点值都小于根节点值
  • 有分支节点值都大于根节点值
  • 所有的子树也都是二叉搜索树

所以,在BST中搜索一个给定值或按序遍历都相当快捷(对数和线性)。

(2)平衡二叉搜索树树:所有叶子节点深度差不超过1的二叉搜索树。

  • 自平衡二叉搜索树:指其操作都试图维持(半)平衡的二叉搜索树。
  • 红黑树,是一种自平衡二叉搜索树,linux主要的平衡二叉树数据结构就是红黑树。红黑树具有特殊的着色属性,遵循下面六个属性,能维持半平衡结构:

①所有叶子节点要么着红色,要么着黑色。

②叶子节点都是黑色。

③叶子节点不包含数据。

④所有非叶子节点都有两个字节点。

⑤如果一个节点是红色,则它的子节点都是黑色。

⑥在一个节点到其叶子节点的路径中,如果总是包含同样数目的黑色节点,则该路径相比其他路径是最短的。

上述条件保证了最深叶子节点的深度不会大于两倍的最浅叶子节点的深度,所以红黑树总是半平衡的。

Linux实现的红黑树称为rbtree,定义在中。

①rbtree的根节点由数据结构rb_root描述,创建一个红黑树,要分配一个新的rb_root结构,并且需要初始化为特殊值RB_ROOT.

struct rb_root root = RB_ROOT;

树里其他节点由结构rb_node描述。

rbtree的实现并没有提供搜索和插入例程,这些例程由rbtree的用户自己定义,可以使用rbtree提供的辅助函数,但要自己实现比较操作

②搜索

实例,实现了在页高速缓存中搜索一个文件区(由一个i节点和一个偏移量共同描述),每个i节点都有自己的rbtree,以关联在文件中的页便宜。下面函数搜索给定i节点的rbtree,以寻找匹配的偏移值

1.  struct page * rb_search_page_cache(struct inode *inode, unsigned long offset) 
2.  {
3.  struct rb_node *n = inode->i_rb_page_cache.rb_node;
5.  while (n) {
6.  struct page *page = rb_entry(n, struct page, rb_page_cache);
7.  if (offset < page->offset)
8.  n = n->rb_left;
9.  else if (offset > page->offset)
10.  n = n->rb_right;
11.  else
12.  return page;
13.  }
14.  return NULL;
15.  }

在while循环中遍历了整个rbtree, offset做比较操作,循环中找到一个匹配的offset节点,则搜索完成,返回page结构,遍历完全树都没找到,则返回NULL。

③插入操作,必须实现搜索和插入逻辑

1.  struct page * rb_insert_page_cache(struct inode *inode, unsigned long offset, struct rb_node *node) 
2.  {
3.  struct rb_node **p = &inode->i_rb_page_cache.rb_node;
4.  struct rb_node *parent = NULL;
5.  struct page *page;
7.  while (*p) {
8.  parent = *p;
9.  page = rb_entry(parent, struct page, rb_page_cache);
10.  if (offset < page->offset)
11.  p = &(*p)->rb_left;
12.  else if (offset > page->offset)
13.  p = &(*p)->rb_right;
14.  else
15.  return page;
16.  }
17.  rb_link_node(node, parent, p);
18.  rb_insert_color(node, &inode->i_rb_page_cache);
19.  return NULL;
20.  }

和搜索不同的是,该函数希望找不到匹配的offset,这样就可以插入叶子节点。找到插入点后,调用rb_link_node(在给定位置插入新节点),然后调用rb_insert_color()方法执行复杂的再平衡动作。如果页被加入到高速缓存中,则返回NULL。如果页原本已经存在高速缓存中,则返回这个已存在的页结构地址。

五、数据结构的选择

链表:对数据集合的主要操作是遍历数据,就用链表;当需要存储相对较少的数据项,或当你需要和内核中其他使用链表的代码交互时,首选链表。如果存储的大小不明的数据集合,链表更合适,可以动态添加任何数据类型。

队列:如果代码符合生产者/消费者模式,就用队列;如果你想用一个定长缓冲,队列的添加和删除操作简单有效;

映射:如果需要映射一个UID到一个对象,就用映射。Linux的映射接口是针对UID到指针的映射,并不适合其他场景。

红黑树:如果需要存储大量数据,并且迅速检索,用红黑树最好;但如果没有执行太多次时间紧迫的查找操作,则红黑树不是最好选择,可以用链表;

当上述数据结构都不能满足你需要,内核还是下了一些较少使用的数据结构,比如基树和位图,只有当寻遍所有内核提供的数据结构都不能满足时,才需要自己设计数据结构。

经常在独立的源文件中实现的一种常见数据结构是散列表,因为散列表无非是一些“桶”和一个散列函数,而且这个散列函数是针对每个用例的,因此非泛型编程语言实现内核范围内的统一散列表,其实并没有什么价值。

六、算法复杂度

算法复杂度最常用的技术还是研究算法的渐进行为,渐进行为是指当算法的输入变大非常大或接近于无限大时算法的行为。研究算法的伸缩度(当输入增大时算法执行的变化)可以帮助我们以特定基准抽象出算法模型,从而更好理解算法行为。

(1)大O符号

大O符号(Big O notation)是用于描述函数渐近行为的数学符号。更确切地说,它是用另一个(通常更简单的)函数来描述一个函数数量级的渐近上界。在数学中,它一般用来刻画被截断的无穷级数尤其是渐近级数的剩余项;在计算机科学中,它在分析算法复杂性的方面非常有用。

(2) 大θ符号

人们讨论的大O符号,实际上更接近于Knuth教授提出的大θ符号,大θ符号更多的是指最小上限,或一个抽象出具有上限和下限的函数。

(3)时间复杂度,常用的函数阶

下面是在分析算法的时候常见的函数分类列表。所有这些函数都处于 [图片上传失败...(image-ad8281-1597288056838)] 趋近于无穷大的情况下,增长得慢的函数列在上面。[图片上传失败...(image-567b46-1597288056838)] 是一个任意常数。

显然要避免使用O(n!) or O(2n)的算法,比较算法时,还需要考虑输入规模。

我们不赞成使用复杂的算法,但是可要注意算法的负载和典型输入集合大小的关系,不要为了你根本不需要支持的伸缩度要求,盲目地去优化算法。

精品文章推荐阅读:

相关文章
|
5天前
|
缓存 算法 Linux
深入理解Linux内核调度器:公平性与性能的平衡####
真知灼见 本文将带你深入了解Linux操作系统的核心组件之一——完全公平调度器(CFS),通过剖析其设计原理、工作机制以及在实际系统中的应用效果,揭示它是如何在众多进程间实现资源分配的公平性与高效性的。不同于传统的摘要概述,本文旨在通过直观且富有洞察力的视角,让读者仿佛亲身体验到CFS在复杂系统环境中游刃有余地进行任务调度的过程。 ####
26 6
|
4天前
|
缓存 资源调度 安全
深入探索Linux操作系统的心脏——内核配置与优化####
本文作为一篇技术性深度解析文章,旨在引领读者踏上一场揭秘Linux内核配置与优化的奇妙之旅。不同于传统的摘要概述,本文将以实战为导向,直接跳入核心内容,探讨如何通过精细调整内核参数来提升系统性能、增强安全性及实现资源高效利用。从基础概念到高级技巧,逐步揭示那些隐藏在命令行背后的强大功能,为系统管理员和高级用户打开一扇通往极致性能与定制化体验的大门。 --- ###
19 9
|
2天前
|
缓存 负载均衡 Linux
深入理解Linux内核调度器
本文探讨了Linux操作系统核心组件之一——内核调度器的工作原理和设计哲学。不同于常规的技术文章,本摘要旨在提供一种全新的视角来审视Linux内核的调度机制,通过分析其对系统性能的影响以及在多核处理器环境下的表现,揭示调度器如何平衡公平性和效率。文章进一步讨论了完全公平调度器(CFS)的设计细节,包括它如何处理不同优先级的任务、如何进行负载均衡以及它是如何适应现代多核架构的挑战。此外,本文还简要概述了Linux调度器的未来发展方向,包括对实时任务支持的改进和对异构计算环境的适应性。
18 6
|
3天前
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
18 5
|
1天前
|
算法 Linux 调度
深入理解Linux内核调度器:从基础到优化####
本文旨在通过剖析Linux操作系统的心脏——内核调度器,为读者揭开其高效管理CPU资源的神秘面纱。不同于传统的摘要概述,本文将直接以一段精简代码片段作为引子,展示一个简化版的任务调度逻辑,随后逐步深入,详细探讨Linux内核调度器的工作原理、关键数据结构、调度算法演变以及性能调优策略,旨在为开发者与系统管理员提供一份实用的技术指南。 ####
14 4
|
4天前
|
算法 Unix Linux
深入理解Linux内核调度器:原理与优化
本文探讨了Linux操作系统的心脏——内核调度器(Scheduler)的工作原理,以及如何通过参数调整和代码优化来提高系统性能。不同于常规摘要仅概述内容,本摘要旨在激发读者对Linux内核调度机制深层次运作的兴趣,并简要介绍文章将覆盖的关键话题,如调度算法、实时性增强及节能策略等。
|
5天前
|
存储 监控 安全
Linux内核调优的艺术:从基础到高级###
本文深入探讨了Linux操作系统的心脏——内核的调优方法。文章首先概述了Linux内核的基本结构与工作原理,随后详细阐述了内核调优的重要性及基本原则。通过具体的参数调整示例(如sysctl、/proc/sys目录中的设置),文章展示了如何根据实际应用场景优化系统性能,包括提升CPU利用率、内存管理效率以及I/O性能等关键方面。最后,介绍了一些高级工具和技术,如perf、eBPF和SystemTap,用于更深层次的性能分析和问题定位。本文旨在为系统管理员和高级用户提供实用的内核调优策略,以最大化Linux系统的效率和稳定性。 ###
|
4天前
|
Java Linux Android开发
深入探索Android系统架构:从Linux内核到应用层
本文将带领读者深入了解Android操作系统的复杂架构,从其基于Linux的内核到丰富多彩的应用层。我们将探讨Android的各个关键组件,包括硬件抽象层(HAL)、运行时环境、以及核心库等,揭示它们如何协同工作以支持广泛的设备和应用。通过本文,您将对Android系统的工作原理有一个全面的认识,理解其如何平衡开放性与安全性,以及如何在多样化的设备上提供一致的用户体验。
|
6天前
|
Linux 数据库
Linux内核中的锁机制:保障并发操作的数据一致性####
【10月更文挑战第29天】 在多线程编程中,确保数据一致性和防止竞争条件是至关重要的。本文将深入探讨Linux操作系统中实现的几种关键锁机制,包括自旋锁、互斥锁和读写锁等。通过分析这些锁的设计原理和使用场景,帮助读者理解如何在实际应用中选择合适的锁机制以优化系统性能和稳定性。 ####
22 6
|
6天前
|
机器学习/深度学习 负载均衡 算法
深入探索Linux内核调度机制的优化策略###
本文旨在为读者揭开Linux操作系统中至关重要的一环——CPU调度机制的神秘面纱。通过深入浅出地解析其工作原理,并探讨一系列创新优化策略,本文不仅增强了技术爱好者的理论知识,更为系统管理员和软件开发者提供了实用的性能调优指南,旨在促进系统的高效运行与资源利用最大化。 ###

热门文章

最新文章