3)Linux I/O分类
Linux I/O分类请参见表3-12所示,
表3-12 Linux I/O分类
分类标准 |
分类名 |
解释 |
缩写 |
是否利用操作系统的页缓存 |
直接I/O |
读写操作<—>文件系统来访问文件 |
|
非直接I/O |
读写操作<—>系统的页缓存<—>写入磁盘 |
||
是否等待响应结果 |
裸I/O |
跳过文件系统,直接访问磁盘 |
O_DIRECT |
同步I/O |
等到整个I/O完成后才获得I/O响应 |
O_SYNC |
|
异步I/O |
不用等待完成和完成后的响应,完成后以通知的方式告知 |
O_ASYNC |
|
是否利用标准库缓存 |
缓冲I/O |
用标准库(数据<—>流缓存区<—>内核缓存区<—>磁盘) |
Buffered I/O |
非缓冲I/O |
不用标准库(数据<—>内核缓存区<—>磁盘) |
NoBuffered I/O |
|
是否阻塞自身的运行 |
阻塞I/O |
没有获得响应,就会阻塞当前的进程 |
O_BLOCK |
非阻塞I/O |
没有获得响应,不会阻塞当前的进程,通过轮询 |
O_NONBLOCK |
下面对这几种分类。
•缓冲I/O。
缓冲I/O是指通过标准库缓存来加速文件的访问,而标准库内部再通过系统调度访问文件。带缓存I/O也叫标准I/O,它符合ANSI C的标准I/O处理,是不依赖系统内核的,所以移植性是比较强的,在使用标准I/O操作的时候为了减少对read()、write()系统调用次数,带缓存I/O就是在用户层再建立一个缓存区,这个缓存区的分配和优化长度等细节都是标准I/O库处理好的,用户不用去关心。
•非缓冲 I/O。
非缓冲 I/O是指直接通过系统调用来访问文件,不再经过标准库缓存。它不是直接对磁盘文件进行读取操作,比如read()、write()函数,都属于系统调用,在用户层是没有缓存的,所以称作无缓存I/O。但对于内核而言,还是进行了缓存,只是用户层看不到。
•阻塞I/O。
阻塞I/O进程发起请求后,如果内核没有准备好数据,进程就会被block住,进入等待阶段,一旦等待内核将数据准备好,返回数据,解除阻塞。
•非阻塞I/O。
非阻塞I/O进程发起请求后,如果内核没有准备好数据,直接返回一个error信息,进程不需要阻塞等待,然后进程会轮询发送请求,如此往复,一直等到内核准备好数据,才把数据拷贝并返回给进程,结束到此轮询。非阻塞I/O只有是检查无数据的时候是非阻塞的,在数据到达的时候依然要等待复制数据到用户空间。
非阻塞又分为异步非阻塞(I/O复用)和异步非阻塞(信号驱动式I/O)。
Ø异步非阻塞(I/O复用)。
异步非阻塞(I/O复用)由Linux提供select/poll,进程通过将一个或多个fd传递给select或poll系统调用,阻塞在select;这样select/poll可以帮助侦测多个fd是否就绪。但是select/poll是顺序扫描fd是否就绪,并且支持的fd数量是有限的。Linux还提供了一个epoll系统调用,epoll是基于事件驱动方式的,而不是顺序扫描,当有fd就绪时,立即调用函数rollback。
Ø异步非阻塞(信号驱动式I/O)。
异步非阻塞(信号驱动式I/O)是指在内核在描述符就绪时发送SIGIO信号通知进程,进程通过信号处理函数接收数据。
•同步I/O。
同步I/O是指I/O请求导致请求进程阻塞,直到I/O操作完成。阻塞I/O模型、非阻塞I/O模型、异步非阻塞(I/O复用)、异步非阻塞(信号驱动式I/O)都属于同步I/O
•异步I/O。
异步I/O进程是指I/O请求发生,发起请求,内核数据已经准备好,并且复制到用户进程空间后执行事先指定好的函数。异步I/O不会导致请求进程阻塞。只有异步I/O模型是才是真正意义上的非阻塞I/O。
•裸I/O。
裸I/O是指不通过文件系统,直接访问磁盘。
•直接 I/O。
直接 I/O是指不通过操作系统的页缓存,直接跟文件系统的交互来访问文件。
•非直接 I/O。
非直接 I/O是指文件读写的时候,先要经过系统的页缓存,然后再由内核或额外的系统调用,真正写入磁盘。
4)磁盘的性能指标
Linux的磁盘性能指标包括以下内容。
•使用率。
是指磁盘处理 I/O 的时间百分比。过高的使用率(比如超过 80%),通常意味着磁盘 I/O 存在性能瓶颈。
•饱和度。
是指磁盘处理 I/O 的繁忙程度。过高的饱和度,意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时,磁盘无法接受新的 I/O 请求。
•IOPS。(Input/Output Per Second)。
是指每秒的 I/O 请求数。多用于数据库、大量小文件等这类随机读写。
•吞吐率。
是指每秒的 I/O 请求大小。多用于多媒体等顺序读写。
•响应时间。
是指 I/O 请求从发出到收到响应的间隔时间。
① 磁盘操作活动进行监视
对系统的磁盘操作活动进行监视需要使用iostat工具(需要安装sysstat插件)。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。iostat指标实际上来自/proc/diskstats。经常结合-x -d参数使用,表示显示所有磁盘的I/O的指标。
# iostat -d -x 1 Linux 4.15.0-66-generic (ubuntu) 12/10/2019_x86_64_(4 CPU) Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_awaitaqu-sz rareq-sz wareq-sz svctm %util loop0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 2.80 0.00 0.00 2.35 0.00 0.00 0.00 loop1 0.01 0.00 0.02 0.00 0.00 0.00 0.00 0.00 1.08 0.00 0.00 1.80 0.00 0.08 0.00 loop2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 5.37 0.00 0.00 2.76 0.00 0.00 0.00 loop3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 4.60 0.00 0.00 2.42 0.00 0.08 0.00 loop4 0.01 0.00 0.08 0.00 0.00 0.00 0.00 0.00 2.28 0.00 0.00 7.57 0.00 0.36 0.00 loop5 0.42 0.00 0.46 0.00 0.00 0.00 0.00 0.00 0.54 0.00 0.00 1.11 0.00 0.02 0.00 loop6 0.02 0.00 0.03 0.00 0.00 0.00 0.00 0.00 0.44 0.00 0.00 1.59 0.00 0.04 0.00 loop7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 5.17 0.00 0.00 2.83 0.00 0.00 0.00
其中参数解读如表3-13所示。
表3-13 iostat参数
性能指标 |
含义 |
注释 |
r/s |
每秒发送给磁盘的读请求数 |
合并后的请求数 |
w/s |
每秒发送给磁盘的写请求数 |
合并后的请求数 |
rkB/s |
每秒从磁盘读取的数量 |
单位(kB) |
wkB/s |
每秒从磁盘写入的数量 |
单位(kB) |
rrqm/s |
每秒合并的读请求数 |
%rrqm表示合并的读请求数的百分比 |
wrqm/s |
每秒合并的写请求数 |
%wrqm表示合并的写请求数的百分比 |
r_await |
读请求处理完成的等待时间 |
包括队列中的等待时间和设备实际处理的时间,单位(毫秒) |
w_await |
写请求处理完成的等待时间 |
包括队列中的等待时间和设备实际处理的时间,单位(毫秒) |
apu-sz |
平均请求队列的长度 |
旧版中为angqu-sz |
rareq-sz |
平均读请求大小 |
单位(kB) |
wareq-sz |
平均写请求大小 |
单位(kB) |
svctm |
处理I/O请求所需要的平均时间 |
不包含等待时间,单位(毫秒),估算值,不保证完全准确 |
%util |
磁盘处理I/O的时间百分比 |
即使用率,由于并行I/O的存在,100%不一定表明磁盘I/O饱和 |
在这里,对应上面提到的性能指标与这里的参数如下。
•IOPS 。即r/s+ w/s。
•吞吐量。即rkB/s+wkB/s。
•响应时间。r_await+w_await。
•使用率。%util。
iostat Linux 4.15.0-66-generic (ubuntu) 12/10/2019_x86_64_(4 CPU) avg-cpu: %user %nice %system %iowait %steal %idle 0.93 0.25 0.72 0.07 0.00 98.03 Device tps kB_read/s kB_wrtn/s kB_read kB_wrtn loop0 0.00 0.00 0.00 47 0 …
•如果%iowait的值过高,表示硬盘存在I/O瓶颈。
•如果%idle值高但系统响应慢时,可能是CPU等待分配内存,应加大内存容量。
•如果%idle值持续低于10,表明CPU处理能力相对较低,系统中最需要解决的资源是CPU。
•%util接近100%,说明产生的I/O请求太多,I/O系统已经满负荷。
顾翔老师与云测学院联合推出:软件测试分析与设计,请点击https://v.youku.com/v_show/id_XNDQ3MzkyNjk3Ng==.html?spm=a2hzp.8244740.0.0,收看。有不同观念欢迎与顾翔老师交流!
投票已过期
1.以下你用过哪些集中配置管理系统?(多选)
- puppet
- Chef
- ansible
- saltstack
- Cfengine
- Capistrano
- Resque
- Rundeck
- Rundeck
- 其他
2.以下你用哪些过虚拟机或容器?(多选)
- VMware
- Vagrant
- Amazon EC2
- AMI(亚马逊云机器镜像)
- Vagrant
- Docker
- Rkt
- 裸金属服务器
- 其他
3.以下你用哪些操作系统自动化配置工具?(多选)
- Solaris10 JumpStart
- Kickstart
- Debian-Preseed
- 其他
4.以下你用哪些云平台?(多选)
- Amazon Web Services
- Google App Engine
- Windows Azure
- OpenShift
- Cloud Foundry
- AWS CloudFormation
- Microsoft Azure Stack
- OpenStack Heat
- 百度云
- 阿里云
- 腾讯云
- 其他
5.以下你用哪些CI/CD工具?(多选)
- Jenkins
- ThoughtWorks GoCD
- Atlassian Bamboo
- Microsoft Team Foundation Server
- TeamCity
- GitLab CI
- Travis CI
- SNAP CI
- Pivotal的Concourse
- Etsy的Morgue
- 其他
6.以下你用哪些管理工具?(多选)
- JIRA
- LeanKit
- Mingle
- 禅道
- 其他
7.以下你用哪些安全工具?(多选)
- Vault
- Keywhiz
- credstash
- Red October
- Metasploit
- OSSEC
- Tripwire
- Unhide
- OWASP ZAP Zed Attack Proxy Project
- Lynis
- The Browser Exploitation Framework
- OWASP Xenotix XSS Exploit Framework
- OWASP Offensive Testing Framework
- Brakeman
- WPScan
- nmap
- Burp Suite
- AWVS
- AppScan
- CSRFTester
- SQL Map
- Pangolin
- DirBuster
- 其他
8.以下你用哪些静态扫描工具?(多选)
- Sonar
- Brakeman
- Codeclimate
- CheckStyle
- 其他