Linux第八章之进程概念

简介: 计算机管理硬件1. 描述起来,用struct结构体2. 组织起来,用链表或其他高效的数据结构。

 一、冯诺依曼体系结构

image.gif编辑

关于冯诺依曼,必须强调几点:

    • 这里的存储器指的是内存
    • 不考虑缓存情况,这里的CPU能且只能对内存进行读写,不能访问外设(输入或输出设备)
    • 外设(输入或输出设备)要输入或者输出数据,也只能写入内存或者从内存中读取。
    • 一句话,所有设备都只能直接和内存打交道。

    对冯诺依曼的理解,不能停留在概念上,要深入到对软件数据流理解上,请解释,从你登录上qq开始和某位朋友聊天开始,数据的流动过程。从你打开窗口,开始给他发消息,到他的到消息之后的数据流动过程。如果是在qq上发送文件呢?


    二、操作系统(Operator System)

    2.1概念

    任何计算机系统都包含一个基本的程序集合,称为操作系统(OS)。笼统的理解,操作系统包括:

      • 内核(进程管理,内存管理,文件管理,驱动管理)
      • 其他程序(例如函数库,shell程序等等)

      2.2设计OS的目的

        • 与硬件交互,管理所有的软硬件资源
        • 为用户程序(应用程序)提供一个良好的执行环境

        2.3定位

        在整个计算机软硬件架构中,操作系统的定位是:一款纯正的“搞管理”的软件

        2.4如何理解 "管理"

          • 管理的例子
          • 描述被管理对象
          • 组织被管理对象

          image.gif编辑

          2.5总结

          计算机管理硬件

          1. 描述起来,用struct结构体

          2. 组织起来,用链表或其他高效的数据结构


          三、系统调用和库函数概念

          在开发角度,操作系统对外会表现为一个整体,但是会暴露自己的部分接口,供上层开发使用,这部分由操作系统提供的接口,叫做系统调用。

          系统调用在使用上,功能比较基础,对用户的要求相对也比较高,所以,有心的开发者可以对部分系统调用进行适度封装,从而形成库,有了库,就很有利于更上层用户或者开发者进行二次开发。


          四、进程

          4.1基本概念

            • 课本概念:程序的一个执行实例,正在执行的程序等
            • 内核观点:担当分配系统资源(CPU时间,内存)的实体。

            4.2描述进程-PCB

              • 进程信息被放在一个叫做进程控制块的数据结构中,可以理解为进程属性的集合。
              • 课本上称之为PCB(process control block),Linux操作系统下的PCB是: task_struct

              4.3 task_struct-PCB的一种

                • 在Linux中描述进程的结构体叫做task_struct。
                • task_struct是Linux内核的一种数据结构,它会被装载到RAM(内存)里并且包含着进程的信息。

                4.4 task_ struct内容分类

                  • 标示符: 描述本进程的唯一标示符,用来区别其他进程。
                  • 状态: 任务状态,退出代码,退出信号等。
                  • 优先级: 相对于其他进程的优先级。
                  • 程序计数器: 程序中即将被执行的下一条指令的地址。
                  • 内存指针: 包括程序代码和进程相关数据的指针,还有和其他进程共享的内存块的指针
                  • 上下文数据: 进程执行时处理器的寄存器中的数据[休学例子,要加图CPU,寄存器]。
                  • I/O状态信息: 包括显示的I/O请求,分配给进程的I/O设备和被进程使用的文件列表。
                  • 记账信息: 可能包括处理器时间总和,使用的时钟数总和,时间限制,记账号等。
                  • 其他信息

                  4.5组织进程

                  可以在内核源代码里找到它。所有运行在系统里的进程都以task_struct链表的形式存在内核里。

                  4.6查看进程

                  进程的信息可以通过/proc 系统文件夹查看

                  image.gif编辑

                  大多数进程信息同样可以使用top和ps这些用户级工具来获取

                  #include <stdio.h>
                  #include <sys/types.h>
                  #include <unistd.h>
                  int main()
                  {
                      while(1){
                          sleep(1);
                      }
                      return 0;
                  }

                  image.gif

                  image.gif编辑

                  4.7通过系统调用获取进程标示符

                    • 进程id(PID)
                    • 父进程id(PPID)
                    #include <stdio.h>
                    #include <sys/types.h>
                    #include <unistd.h>
                    int main()
                    {
                        printf("pid: %d\n", getpid());
                        printf("ppid: %d\n", getppid());
                        return 0;
                    }

                    image.gif

                    4.8通过系统调用创建进程-fork初识

                      • 运行man fork 认识fork
                      • fork有两个返回值
                      • 父子进程代码共享,数据各自开辟空间,私有一份(采用写时拷贝)
                      #include <stdio.h>
                      #include <sys/types.h>
                      #include <unistd.h>
                      int main()
                      {
                          int ret = fork();
                          printf("hello proc : %d!, ret: %d\n", getpid(), ret);
                          sleep(1);
                          return 0;
                      }

                      image.gif

                      fork 之后通常要用if 进行分流

                      #include <stdio.h>
                      #include <sys/types.h>
                      #include <unistd.h>
                      int main()
                      {
                          int ret = fork();
                          if(ret < 0){
                              perror("fork");
                              return 1;
                          }
                          else if(ret == 0){ //child
                              printf("I am child : %d!, ret: %d\n", getpid(), ret);
                          }else{ //father
                              printf("I am father : %d!, ret: %d\n", getpid(), ret);
                          }
                          sleep(1);
                          return 0;
                      }

                      image.gif


                      五、进程状态

                      5.1看看Linux内核源代码怎么说

                      为了弄明白正在运行的进程是什么意思,我们需要知道进程的不同状态。一个进程可以有几个状态(在Linux内核里,进程有时候也叫做任务)。下面的状态在kernel源代码里定义

                      /*
                      * The task state array is a strange "bitmap" of
                      * reasons to sleep. Thus "running" is zero, and
                      * you can test for combinations of others with
                      * simple bit tests.
                      */
                      static const char * const task_state_array[] = {
                      "R (running)", /* 0 */
                      "S (sleeping)", /* 1 */
                      "D (disk sleep)", /* 2 */
                      "T (stopped)", /* 4 */
                      "t (tracing stop)", /* 8 */
                      "X (dead)", /* 16 */
                      "Z (zombie)", /* 32 */
                      };

                      image.gif

                        • R运行状态(running): 并不意味着进程一定在运行中,它表明进程要么是在运行中要么在运行队列里。
                        • S睡眠状态(sleeping): 意味着进程在等待事件完成(这里的睡眠有时候也叫做可中断睡眠(interruptible sleep))
                        • D磁盘休眠状态(Disk sleep)有时候也叫不可中断睡眠状态(uninterruptible sleep),在这个状态的进程通常会等待IO的结束。
                        • T停止状态(stopped): 可以通过发送 SIGSTOP 信号给进程来停止(T)进程。这个被暂停的进程可以通过发送 SIGCONT 信号让进程继续运行。
                        • X死亡状态(dead):这个状态只是一个返回状态,你不会在任务列表里看到这个状态。

                        5.2进程状态查看

                        ps aux / ps axj 命令

                        image.gif

                        image.gif编辑

                        5.3 Z(zombie)-僵尸进程

                          • 僵死状态(Zombies)是一个比较特殊的状态。当进程退出并且父进程(使用wait()系统调用,后面讲)没有读取到子进程退出的返回代码时就会产生僵死(尸)进程
                          • 僵死进程会以终止状态保持在进程表中,并且会一直在等待父进程读取退出状态代码。
                          • 所以,只要子进程退出,父进程还在运行,但父进程没有读取子进程状态,子进程进入Z状态

                          来一个创建维持30秒的僵死进程例子:

                          #include <stdio.h>
                          #include <stdlib.h>
                          int main()
                          {
                            pid_t id = fork();
                            if (id < 0) {
                              perror("fork");
                              return 1;
                            }
                            else if (id > 0) { //parent
                              printf("parent[%d] is sleeping...\n", getpid());
                              sleep(30);
                            }
                            else {
                              printf("child[%d] is begin Z...\n", getpid());
                              sleep(5);
                              exit(EXIT_SUCCESS);
                            }
                            return 0;
                          }

                          image.gif

                          编译并在另一个终端下启动监控

                          image.gif编辑

                          开始测试

                          image.gif编辑

                          看到结果

                          image.gif编辑

                          5.4僵尸进程危害

                            • 进程的退出状态必须被维持下去,因为他要告诉关心它的进程(父进程),你交给我的任务,我办的怎么样了。可父进程如果一直不读取,那子进程就一直处于Z状态?是的!
                            • 维护退出状态本身就是要用数据维护,也属于进程基本信息,所以保存在task_struct(PCB)中,换句话说,Z状态一直不退出,PCB一直都要维护?是的!
                            • 那一个父进程创建了很多子进程,就是不回收,是不是就会造成内存资源的浪费?是的!因为数据结构对象本身就要占用内存,想想C中定义一个结构体变量(对象),是要在内存的某个位置进行开辟空间!内存泄漏?是的!

                            5.5孤儿进程

                              • 父进程如果提前退出,那么子进程后退出,进入Z之后,那该如何处理呢?
                              • 父进程先退出,子进程就称之为“孤儿进程”
                              • 孤儿进程被1号init进程领养,当然要有init进程回收喽。
                              #include <stdio.h>
                              #include <unistd.h>
                              #include <stdlib.h>
                              int main()
                              {
                                pid_t id = fork();
                                if (id < 0) {
                                  perror("fork");
                                  return 1;
                                }
                                else if (id == 0) {//child
                                  printf("I am child, pid : %d\n", getpid());
                                  sleep(10);
                                }
                                else {//parent
                                  printf("I am parent, pid: %d\n", getpid());
                                  sleep(3);
                                  exit(0);
                                }
                                return 0;
                              }

                              image.gif

                              image.gif编辑


                              六、进程优先级

                              6.1基本概念

                              cpu资源分配的先后顺序,就是指进程的优先权(priority)。

                              优先权高的进程有优先执行权利。配置进程优先权对多任务环境的linux很有用,可以改善系统性能。还可以把进程运行到指定的CPU上,这样一来,把不重要的进程安排到某个CPU,可以大大改善系统整体性能。

                              6.2查看系统进程

                              在linux或者unix系统中,用ps –l命令则会类似输出以下几个内容:

                              image.gif编辑

                              UID : 代表执行者的身份

                              PID : 代表这个进程的代号

                              PPID :代表这个进程是由哪个进程发展衍生而来的,亦即父进程的代号

                              PRI :代表这个进程可被执行的优先级,其值越小越早被执行

                              NI :代表这个进程的nice值

                              6.3PRI and NI

                                • PRI也还是比较好理解的,即进程的优先级,或者通俗点说就是程序被CPU执行的先后顺序,此值越小进程的优先级别越高
                                • 那NI呢?就是我们所要说的nice值了,其表示进程可被执行的优先级的修正数值
                                • PRI值越小越快被执行,那么加入nice值后,将会使得PRI变为:PRI(new)=PRI(old)+nice
                                • 这样,当nice值为负值的时候,那么该程序将会优先级值将变小,即其优先级会变高,则其越快被执行
                                • 所以,调整进程优先级,在Linux下,就是调整进程nice值
                                • nice其取值范围是-20至19,一共40个级别。

                                6.4PRI vs NI

                                  • 需要强调一点的是,进程的nice值不是进程的优先级,他们不是一个概念,但是进程nice值会影响到进程的优先级变化。
                                  • 可以理解nice值是进程优先级的修正修正数据

                                  6.5查看进程优先级的命令

                                  6.5.1用top命令更改已存在进程的nice:

                                    • top
                                    • 进入top后按“r”–>输入进程PID–>输入nice值

                                    6.6其他概念

                                      • 竞争性: 系统进程数目众多,而CPU资源只有少量,甚至1个,所以进程之间是具有竞争属性的。为了高效完成任务,更合理竞争相关资源,便具有了优先级
                                      • 独立性: 多进程运行,需要独享各种资源,多进程运行期间互不干扰
                                      • 并行: 多个进程在多个CPU下分别,同时进行运行,这称之为并行
                                      • 并发: 多个进程在一个CPU下采用进程切换的方式,在一段时间之内,让多个进程都得以推进,称之为并发

                                      七、环境变量

                                      7.1基本概念

                                      环境变量(environment variables)一般是指在操作系统中用来指定操作系统运行环境的一些参数

                                      如:我们在编写C/C++代码的时候,在链接的时候,从来不知道我们的所链接的动态静态库在哪里,但是照样可以链接成功,生成可执行程序,原因就是有相关环境变量帮助编译器进行查找。

                                      环境变量通常具有某些特殊用途,还有在系统当中通常具有全局特性

                                      7.2常见环境变量

                                        • PATH : 指定命令的搜索路径
                                        • HOME : 指定用户的主工作目录(即用户登陆到Linux系统中时,默认的目录)
                                        • SHELL : 当前Shell,它的值通常是/bin/bash。

                                        7.3查看环境变量方法

                                        echo $NAME //NAME:你的环境变量名称

                                        image.gif

                                        7.4测试PATH

                                        1. 创建hello.c文件

                                        #include <stdio.h>
                                        int main()
                                        {
                                          printf("hello world!\n");
                                          return 0;
                                        }

                                        image.gif

                                        2. 对比./hello执行和之间hello执行

                                        3. 为什么有些指令可以直接执行,不需要带路径,而我们的二进制程序需要带路径才能执行?

                                        4. 将我们的程序所在路径加入环境变量PATH当中, export PATH=$PATH:hello程序所在路径

                                        5. 对比测试

                                        6. 还有什么方法可以不用带路径,直接就可以运行呢?

                                        7.5测试HOME

                                        1. 用root和普通用户,分别执行echo $HOME ,对比差异

                                        . 执行cd ~; pwd ,对应~ 和 HOME 的关系

                                        7.6和环境变量相关的命令

                                        1. echo: 显示某个环境变量值

                                        2. export: 设置一个新的环境变量

                                        3. env: 显示所有环境变量

                                        4. unset: 清除环境变量

                                        5. set: 显示本地定义的shell变量和环境变量

                                        7.7环境变量的组织方式

                                        image.gif编辑

                                        每个程序都会收到一张环境表,环境表是一个字符指针数组,每个指针指向一个以’\0’结尾的环境字符串

                                        7.8通过代码如何获取环境变量

                                          • 命令行第三个参数
                                          #include <stdio.h>
                                          int main(int argc, char* argv[], char* env[])
                                          {
                                            int i = 0;
                                            for (; env[i]; i++) {
                                              printf("%s\n", env[i]);
                                            }
                                            return 0;
                                          }

                                          image.gif

                                            • 通过第三方变量environ获取
                                            #include <stdio.h>
                                            int main(int argc, char* argv[])
                                            {
                                              extern char** environ;
                                              int i = 0;
                                              for (; environ[i]; i++) {
                                                printf("%s\n", environ[i]);
                                              }
                                              return 0;
                                            }

                                            image.gif

                                            libc中定义的全局变量environ指向环境变量表,environ没有包含在任何头文件中,所以在使用时 要用extern声明。

                                            7.9通过系统调用获取或设置环境变量

                                              • putenv
                                              • getenv
                                              #include <stdio.h>
                                              #include <stdlib.h>
                                              int main()
                                              {
                                                printf("%s\n", getenv("PATH"));
                                                return 0;
                                              }

                                              image.gif

                                              常用getenv和putenv函数来访问特定的环境变量。

                                              7.10环境变量通常是具有全局属性的

                                              环境变量通常具有全局属性,可以被子进程继承下去

                                              #include <stdio.h>
                                              #include <stdlib.h>
                                              int main()
                                              {
                                                char* env = getenv("MYENV");
                                                if (env) {
                                                  printf("%s\n", env);
                                                }
                                                return 0;
                                              }

                                              image.gif

                                                • 导出环境变量:export MYENV="hello world"
                                                • 再次运行程序,发现结果有了!说明:环境变量是可以被子进程继承下去的!想想为什么?

                                                八、程序地址空间

                                                8.1研究背景

                                                  • kernel 2.6.32
                                                  • 32位平台

                                                  8.2程序地址空间回顾

                                                  image.gif编辑

                                                  #include <stdio.h>
                                                  #include <unistd.h>
                                                  #include <stdlib.h>
                                                  int g_val = 0;
                                                  int main()
                                                  {
                                                    pid_t id = fork();
                                                    if (id < 0) {
                                                      perror("fork");
                                                      return 0;
                                                    }
                                                    else if (id == 0) { //childprintf("child[%d]: %d : %p\n", getpid(), g_val, &g_val);
                                                    }
                                                    else { //parent
                                                      printf("parent[%d]: %d : %p\n", getpid(), g_val, &g_val);
                                                    }
                                                    sleep(1);
                                                    return 0;
                                                  }

                                                  image.gif

                                                  输出

                                                  //与环境相关,观察现象即可
                                                  parent[2995]: 0 : 0x80497d8
                                                  child[2996]: 0 : 0x80497d8

                                                  image.gif

                                                  我们发现,输出出来的变量值和地址是一模一样的,很好理解呀,因为子进程按照父进程为模版,父子并没有对变量进行进行任何修改。可是将代码稍加改动:

                                                  #include <stdio.h>
                                                  #include <unistd.h>
                                                  #include <stdlib.h>
                                                  int g_val = 0;
                                                  int main()
                                                  {
                                                    pid_t id = fork();
                                                    if (id < 0) {
                                                      perror("fork");
                                                      return 0;
                                                    }
                                                    else if (id == 0) { //child,子进程肯定先跑完,也就是子进程先修改,完成之后,父进程再读取
                                                      g_val = 100;
                                                      printf("child[%d]: %d : %p\n", getpid(), g_val, &g_val);
                                                    }
                                                    else { //parent
                                                      sleep(3);
                                                      printf("parent[%d]: %d : %p\n", getpid(), g_val, &g_val);
                                                    }
                                                    sleep(1);
                                                    return 0;
                                                  }

                                                  image.gif

                                                  输出结果:

                                                  //与环境相关,观察现象即可
                                                  child[3046]: 100 : 0x80497e8
                                                  parent[3045]: 0 : 0x80497e8

                                                  image.gif

                                                  我们发现,父子进程,输出地址是一致的,但是变量内容不一样!能得出如下结论:

                                                    • 变量内容不一样,所以父子进程输出的变量绝对不是同一个变量,但地址值是一样的,说明,该地址绝对不是物理地址!
                                                    • 在Linux地址下,这种地址叫做虚拟地址。我们在用C/C++语言所看到的地址,全部都是虚拟地址!物理地址,用户一概看不到,由OS统一管理
                                                    • OS必须负责将虚拟地址转化成物理地址。

                                                    九、进程地址空间

                                                    所以之前说‘程序的地址空间’是不准确的,准确的应该说成进程地址空间,那该如何理解呢?看图:

                                                    分页&虚拟地址空间

                                                    image.gif编辑

                                                    同一个变量,地址相同,其实是虚拟地址相同,内容不同其实是被映射到了不同的物理地址!

                                                    十、Linux2.6内核进程调度队列

                                                    image.gif编辑10.1一个CPU拥有一个runqueue

                                                    如果有多个CPU就要考虑进程个数的负载均衡问题

                                                    10.2优先级

                                                      • 普通优先级:100~139(我们都是普通的优先级,想想nice值的取值范围,可与之对应!)
                                                      • 实时优先级:0~99(不关心)

                                                      10.3活动队列

                                                      时间片还没有结束的所有进程都按照优先级放在该队列

                                                      nr_active: 总共有多少个运行状态的进程

                                                      queue[140]: 一个元素就是一个进程队列,相同优先级的进程按照FIFO规则进行排队调度,所以,数组下标就是优先级!

                                                      从该结构中,选择一个最合适的进程,过程是怎么的呢?

                                                      1. 从0下表开始遍历queue[140]

                                                      2. 找到第一个非空队列,该队列必定为优先级最高的队列

                                                      3. 拿到选中队列的第一个进程,开始运行,调度完成!

                                                      4. 遍历queue[140]时间复杂度是常数!但还是太低效了!

                                                      bitmap[5]:一共140个优先级,一共140个进程队列,为了提高查找非空队列的效率,就可以用5*32个比特位表示队列是否为空,这样,便可以大大提高查找效率!

                                                      10.4过期队列

                                                        • 过期队列和活动队列结构一模一样
                                                        • 过期队列上放置的进程,都是时间片耗尽的进程
                                                        • 当活动队列上的进程都被处理完毕之后,对过期队列的进程进行时间片重新计算

                                                        10.5active指针和expired指针

                                                          • active指针永远指向活动队列
                                                          • expired指针永远指向过期队列
                                                          • 可是活动队列上的进程会越来越少,过期队列上的进程会越来越多,因为进程时间片到期时一直都存在的。
                                                          • 没关系,在合适的时候,只要能够交换active指针和expired指针的内容,就相当于有具有了一批新的活动进程!

                                                          总结:

                                                          在系统当中查找一个最合适调度的进程的时间复杂度是一个常数,不随着进程增多而导致时间成本增加,我们称之为进程调度O(1)算法!

                                                          相关实践学习
                                                          CentOS 7迁移Anolis OS 7
                                                          龙蜥操作系统Anolis OS的体验。Anolis OS 7生态上和依赖管理上保持跟CentOS 7.x兼容,一键式迁移脚本centos2anolis.py。本文为您介绍如何通过AOMS迁移工具实现CentOS 7.x到Anolis OS 7的迁移。
                                                          目录
                                                          相关文章
                                                          |
                                                          11天前
                                                          |
                                                          Go 调度 开发者
                                                          [go 面试] 深入理解进程、线程和协程的概念及区别
                                                          [go 面试] 深入理解进程、线程和协程的概念及区别
                                                          |
                                                          28天前
                                                          |
                                                          运维 关系型数据库 MySQL
                                                          掌握taskset:优化你的Linux进程,提升系统性能
                                                          在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
                                                          掌握taskset:优化你的Linux进程,提升系统性能
                                                          |
                                                          23天前
                                                          |
                                                          弹性计算 Linux 区块链
                                                          Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
                                                          Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
                                                          30 4
                                                          Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
                                                          |
                                                          4天前
                                                          |
                                                          Linux 调度
                                                          Linux源码阅读笔记05-进程优先级与调度策略-实战分析
                                                          Linux源码阅读笔记05-进程优先级与调度策略-实战分析
                                                          |
                                                          24天前
                                                          |
                                                          缓存 监控 Linux
                                                          入职必会-开发环境搭建40-Linux常用操作-Linux进程管理
                                                          进程是正在执行的程序或命令。每个进程独立的,都有需要占用一定的系统资源。Linux系统中启动进程有两种方式:1.Linux操作系统启动的时自动启动的进程。2.用户在终端输入命令启动的进程。
                                                          入职必会-开发环境搭建40-Linux常用操作-Linux进程管理
                                                          |
                                                          4天前
                                                          |
                                                          Linux API C语言
                                                          Linux源码阅读笔记02-进程原理及系统调用
                                                          Linux源码阅读笔记02-进程原理及系统调用
                                                          |
                                                          8天前
                                                          |
                                                          Linux Shell 调度
                                                          【在Linux世界中追寻伟大的One Piece】Linux进程概念
                                                          【在Linux世界中追寻伟大的One Piece】Linux进程概念
                                                          16 1
                                                          |
                                                          18天前
                                                          |
                                                          算法 Linux 调度
                                                          探索进程调度:Linux内核中的完全公平调度器
                                                          【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。
                                                          |
                                                          5天前
                                                          |
                                                          Linux
                                                          Linux 查找进程所在目录
                                                          Linux 查找进程所在目录
                                                          17 0
                                                          |
                                                          8天前
                                                          |
                                                          缓存 Linux Shell
                                                          【在Linux世界中追寻伟大的One Piece】Linux进程控制
                                                          【在Linux世界中追寻伟大的One Piece】Linux进程控制
                                                          15 0

                                                          热门文章

                                                          最新文章