性能基础之速读【性能之巅:洞悉系统、企业与云计算】

简介: 综合来讲,这是一本介绍方法论的书,作者通过概念、模型、观测、实验手段来进行问题的剖析。另外本书的涉及范围之广,从内存、CPU、文件系统、存储硬件、网络等各个方面。并且本书通常以一个实例入手,深入的介绍系统原理,特别是在一些重点细节上,往往有超出一般的认识和方法。

引言

综合来讲,这是一本介绍方法论的书,作者通过概念、模型、观测、实验手段来进行问题的剖析。另外本书的涉及范围之广,从内存、CPU、文件系统、存储硬件、网络等各个方面。并且本书通常以一个实例入手,深入的介绍系统原理,特别是在一些重点细节上,往往有超出一般的认识和方法。
本书函盖范围太广,更适合作为工具书时常翻阅,所以在阅读过程中也关注自己当前需要的方面。

第一章 绪论

系统性能是对整个系统的研究,包括了所有的硬件组件和整个软件栈。所有数据路径上和软硬件上所发生的事情都包括在内,因为这些都有可能影响性能。

1、通用系统软件栈

在这里插入图片描述

2、性能的事情列表

性能领域包括了以下的事情:

  • 设置性能目标和建立性能模型
  • 基于软件或硬件原型进行性能特征归纳
  • 对开发代码进行性能分析(软件整合之前)
  • 执行软件非回归性测试(软件发布前或发布后)
  • 针对软件发布版本的基准测试
  • 目标环境中的概念验证测试
  • 生产环境部署的配置优化
  • 监控生产环境中运行的软件
  • 特定问题的性能分析

3、两种性能分析视觉:资源分析和负载分析

术语容量规划 (capacity planning) 指的是一系列事前行动。在设计阶段,包括通过研究开发软件的资源占用情况,来得知原有设计在多大程度上能满足目标需求。在部署后,包括监控资源的使用情况,这样问题在出现之前就能被预测。
在这里插入图片描述

  • 资源分析指标:IOPS,吞吐量,使用率,饱和度
  • 工作负载指标:吞吐量和延时。

性能分析必须量化问题的重要程度,有一个指标非常合适,就是延时(latency)。

动态跟踪技术把所有的软件变得可以监控,而且能用在真实的生产环境中。这项技术利用内存中的 CPU 指令并在这些指令之上动态构建检测数据。这样能从任何运行的软件中都可以获得定制话的性能统计数据,从而提供了远超系统的自带统计所能给予的观测性。

DTrace 对用户态和内核态的软件都提供了静态跟踪和动态跟踪,并且数据是实时产生的

4、受测系统

在这里插入图片描述
扰动(perturbation)是会影响结果的,扰动包括定时执行的系统活动、系统的其他用户以及其他的工作负载。现代环境的另一个困难是系统很可能由若干个网络化的组件组成,都用于处理输入工作负载,包括负载平衡、Web 服务器、数据库服务器、应用程序服务器,以及存储系统。

5、排队系统

在这里插入图片描述

6、排队理论以及使用率响应时间关系

平均响应时间随使用率变化曲线
平均响应时间随使用率变化曲线

7、方法

在取得数据之前就把事情理论化是一个严重的错误。不理智的人扭曲事实来适应理论,而不是改变理论来适应事实。

面对一个性能不佳且复杂的系统环境时,首先需要知道的挑战就是从什么地方开始分析、收集什么样的数据,以及如何分析这些数据。

7.1、通用的性能分析方法

在这里插入图片描述
在这里插入图片描述

  • 街灯讹方法(奇葩的命名)

    • 在熟悉的工具或流程中试错,比较盲目
  • Ad Hoc核对清单法

    • 保证所有人知道如何检查最糟糕的问题,覆盖全面,但必须保持清单及时更新
  • 诊断循环

    • 假设--仪器检验--数据--假设
  • USE方法

    • 本书重点方法,对于所有资源,查看它的使用率、饱和度、错误

在这里插入图片描述

第三章 操作系统

了解操作系统和它的内核对于系统性能分析是至关重要的。你会经常需要进行针对系统行为的开发和测试,如系统调用是如何执行的、CPU 是如何调度线程的、有限大小的内存是如何影响性能的,或者是文件系统是如何处理 I/O 的。

这部分的内容本书主要介绍了基本的概念,最好还是结合《深入理解计算机系统》来弄懂,不然真的很容易一知半解,列举如下:

  • 内核:内核执行、时钟、内核态
  • 栈:用户栈和内核栈
  • 中断和中断线程
  • 中断优先级
  • 进程:进程创建、进程生命周期、进程环境
  • 系统调用
  • 虚拟内存
  • 内存管理
  • 调度器
  • 文件系统:VFS、I/O 栈
  • 缓存(括号内为例子):应用程序缓存、服务器缓存(Apache 缓存)、缓存服务器(Redis)、数据库缓存(MySQL 缓冲区高速缓存)、目录缓存(DNLC)、文件元数据缓存(inode 缓存)、操作系统缓冲区高速缓存(segvn)、文件系统主缓存(ZFS ARC)、文件系统次缓存(ZFS L2ARC)、设备缓存(ZFS vdev)、块缓存(缓冲区高速缓存)、磁盘控制器缓存(RAID 卡缓存)、存储阵列缓存、磁盘内置缓存
  • 网络
  • 设备驱动
  • 多处理器:CPU 交叉调用
  • 抢占
  • 资源管理
  • 观测性

第四章 观测工具

性能观测工具可以按照系统级别和进程级别来分类,多数的工具要么基于计数器要么基于跟踪:
在这里插入图片描述

1、计数器

内核维护了各种统计数据,称为计数器,用于对事件计数。通常计数器实现为无符号的整型数,发生事件时递增。

系统级别的计数器有:

  • vmstat: 虚拟内存和物理内存的统计,系统级别
  • mpstat: 每个 CPU 的使用情况
  • iostat: 每个磁盘 I/O 的使用情况,由块设备接口报告
  • netstat: 网络接口的统计,TCP/IP 栈的统计,以及每个连接的一些统计信息
  • sar: 各种各样的统计,能归档历史数据

进程级别:

  • ps: 进程状态,显示进程的各种统计信息,包括内存和 CPU 的使用
  • top: 按一个统计数据排序,显示排名高的进程
  • pmap: 将进程的内存段和使用统计一起列出

一般来说,上述这些工具是从 /proc 文件系统里读取统计信息的

2、跟踪

跟踪收集每一个事件的数据以供分析。跟踪框架一般默认是不启用的,因为跟踪捕获数据会有 CPU 开销,另外还需要不小的存储空间来存放数据。

系统级别:

  • tcpdump: 网络包跟踪(libpcap lib)
  • blktrace: 块 I/O 跟踪
  • DTrace: 跟踪内核的内部活动和所有资源的使用情况,支持静态和动态的跟踪
  • SystemTap: 同上
  • perf: Linux 性能事件,跟踪静态和动态的指针

进程级别:

  • strace: 系统调用跟踪
  • gbd: 源码级别的调试器

第五章 应用程序

性能调整离工作所执行的地方越近越好:最好在应用程序里,包括 Web 服务器、应用服务器、负载均衡器、文件服务器,等等。

设立性能目标能为你的性能分析工作指明方向,并帮助你选择要做的事情。没有清晰的目标,性能分析容易沦为随机的『钓鱼探险』。
常见目标:

  • 延时
  • 吞吐量
  • 资源使用率

应用程序性能技术:选择 I/O 尺寸、缓存、缓冲区、轮训(epoll)、并发和并行、非阻塞 I/O、处理器绑定

编程语言相关:编译语言使用编译器优化、解释语言一般不是首选、虚拟机、垃圾回收

第六章 CPU - 第九章 磁盘

1、CPU分析工具

在这里插入图片描述

2、内存分析工具

在这里插入图片描述

3、文件系统分析工具

在这里插入图片描述

4、磁盘分析工具

在这里插入图片描述

5、CPU调优

  • 多少CPU可用?是核吗?是硬件线程?
  • CPU 架构是单还是多处理器?
  • CPU 缓存大小是多少?共享?
  • CPU 时钟频率是多少?是动态?甚于BIOS?
  • CPU 有其它特性?
  • CPU 勘误表上有硬件上的bug?
  • BIOS 版本有bug?
  • CPU 使用软件限制?

6、内存调优

  • 主存有多少?
  • 配置允许应用程序使用的内存大小?
  • 使用哪个分配器?
  • 主存速度?
  • 系统架构?NUMA? UMA?

    NUMA 共享存储器物理上是分布在所有处理机的本地存储器上
    UMA 均匀存储器存取
  • 内存总线大小?
  • 是否配置使用了大页面?
  • 是否支持和配置过度提交?
  • 使用了哪些内存可调参数?
  • 软件强制内存限制?

7、文件系统调优

  • 当前挂载并使用的文件系统数量?
  • 文件系统记录大小?
  • 启用了访问时间戳?
  • 是否有其它参数(压缩?加密?)
  • 缓存大小?二级缓存?
  • 存储设备数量?何配置?RAID?
  • 哪种文件系统?版本?
  • 启用I/O控制?

8、磁盘调优

  • 盘数量?类型?
  • 磁盘固件版本?
  • 多少个磁盘控制器?版本?接口类型?
  • 是否为调速插槽?
  • 配置了RAID?
  • 是否启用多路径?
  • 磁盘设备驱动?
  • 启用I/O控制?

第十章 网络

网络通信是由一组协议栈组成的,其中的每一层实现一个特定的目标:
在这里插入图片描述
一些网络通信和网络性能相关概念:网络和路由、协议、封装、包长度、延时(主机名解析延时、ping 延时、连接延时、首字节延时、往返时间、连接生命周期)、缓冲、连接积压队列、接口协商、使用率、本地连接。

对于日常监测来说,最常用的还是各种工具,如:
在这里插入图片描述

  • netstat -s: 查找高流量的重新传输和乱序数据包
  • netstat -i: 检查接口的错误计数器
  • ifconfig: 检查『错误』『丢弃』和『超限』
  • ip(8): 检查传输和接收的字节率
  • tcpdump/snoop: 尽管需要大量的 CPU 开销,短期使用可能就足以发现谁在使用网络并且定位可以消除的不必要操作
  • dtrace/stap/perf: 用来检查包括内核状态在内的应用程序与线路间选中的数据

第十一章 云计算 - 第十二章 基准测试

这两章主要介绍相关底层概念,很多时候只是作为选择云服务提供商的依据(毕竟不能自己开发),暂略。

1、术语

1.1、方法

  • IOPS: 每秒发生的输入/输出操作的次数,是数据传输的一个度量方法。对于磁盘的读写,IOPS 指的是每秒读和写的次数
  • 吞吐量: 评价工作执行的速率,尤其是在数据传输方面,这个术语用于描述数据传输速度。在某些情况下(如数据库),吞吐量指的是操作的速度(每秒操作数或每秒业务数)
  • 响应事件: 一次操作完成的事件。包括用于等待和服务的事件,也包括用来返回结果的时间
  • 延时: 描述操作里用来等待服务的事件。在某些情况下,它可以指的是整个操作时间,等同于响应时间
  • 使用率: 对于服务所请求的资源,使用率描述在所给定的时间区间内资源的繁忙成都。对于存储资源来说,使用率指的就是所消耗的存储容量(例如,内存使用率)
  • 饱和度: 指的是某一资源无法满足服务的排队工作量
  • 瓶颈: 在系统性能力,瓶颈指的是限制系统性能的那个资源。分辨和移除系统瓶颈是系统性能的一项重要工作
  • 工作负载: 系统的输入或者是对系统所施加的负载叫做工作负载。对于数据库来说,工作负载就是客户端发出的数据库请求和命令
  • 缓存: 用于复制或者缓冲一定量数据的高速存储区域,目的是为了避免对较慢的存储层级的直接访问,从而提高性能。

1.2、操作系统

  • 操作系统: 这里指的是安装在系统上的软件和文件,使得系统可以启动和运行程序。操作系统包括内核、管理工具,以及系统库
  • 内核: 内核是管理系统的程序,包括设备(硬件)、内存和 CPU 调度。它运行在 CPU 的特权模式,允许直接访问硬件,称为内核态
  • 进程: 是一个操作系统的抽象概念,是用来执行程序的环境。程序通常运行在用户模式,通过系统调用或陷阱来进入内核模式
  • 线程: 可被调度的运行在 CPU 上的可执行上下文。内核有多个线程,一个进程有一个或多个线程
  • 任务: 一个 Linux 的可运行实体,可以指一个进程(含有单个线程),或一个多线程的进程里的一个线程,或者内核线程
  • 内核空间: 内核的内存地址空间
  • 用户空间: 进程的内存地址空间
  • 上下文切换: 内核程序切换 CPU 让其在不同的地址空间上做操作
  • 系统调用: 一套定义明确的协议,为用户程序请求内核执行特权操作,包括设备 I/O
  • 陷阱: 信号发送到内核,请求执行一段系统程序(特权操作)。陷阱类型包括系统调用、处理器异常以及中断
  • 中断: 由物理设备发送给内核的信号,通常是请求 I/O 服务

2、USE 法 Linux 检查清单

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.1、软件资源

在这里插入图片描述
在这里插入图片描述

小结

本书作者是著名的性能大师,他有一篇60秒分析性能的文章,其中有一个著名的性能checklist如下:
在这里插入图片描述

目录
相关文章
|
7天前
|
网络协议 网络安全 网络虚拟化
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算
本文介绍了十个重要的网络技术术语,包括IP地址、子网掩码、域名系统(DNS)、防火墙、虚拟专用网络(VPN)、路由器、交换机、超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)和云计算。通过这些术语的详细解释,帮助读者更好地理解和应用网络技术,应对数字化时代的挑战和机遇。
35 3
|
1月前
|
Cloud Native 持续交付 云计算
云端新纪元:探索云原生技术的奥秘在当今数字化时代,云计算已成为推动企业创新和增长的关键动力。随着云平台的不断成熟,云原生技术应运而生,以其独特的优势引领着一场新的技术革命。本文将深入探讨云原生的核心概念、主要特点以及它如何改变现代软件开发和部署的方式,为您揭开云原生这一神秘面纱。
云原生是一种构建和运行应用程序的方法,充分利用了云平台的弹性、分布式本质以及声明式基础设施。本文将解析云原生的十二要素,微服务架构的优势,以及容器化、持续集成与持续部署(CI/CD)等核心技术的实践应用。通过深入浅出的方式,让读者理解云原生不仅是一种技术,更是一种文化和方法论,它正在重塑软件开发流程,提高资源利用率和应用系统的可扩展性与容错性。
|
1月前
|
存储 安全 网络安全
云端盾牌:云计算时代的网络安全守护在数字化浪潮中,云计算以其高效、灵活的特性成为企业转型的加速器。然而,伴随其迅猛发展,网络安全问题亦如影随形,成为悬在每个组织头顶的达摩克利斯之剑。本文旨在探讨云计算服务中的网络安全挑战,分析信息安全的重要性,并提出相应对策,以期为企业构建一道坚实的云端防护网。
在当今这个数据驱动的时代,云计算已成为推动创新与效率的关键力量。它允许用户随时随地访问强大的计算资源,降低了企业的运营成本,加速了产品上市时间。但随之而来的网络威胁也日益猖獗,尤其是对于依赖云服务的企业而言,数据泄露、身份盗用等安全事件频发,不仅造成经济损失,更严重损害品牌信誉。本文深入剖析云计算环境中的安全风险,强调建立健全的信息安全管理机制的重要性,并分享一系列有效策略,旨在帮助企业和个人用户在享受云服务带来的便利的同时,也能构筑起强有力的网络防线。
|
20天前
|
存储 负载均衡 云计算
云计算的实践:如何在企业中实现云计算转型
本文介绍了云计算的基本概念、优势及其在企业中的应用。云计算通过互联网提供计算资源,具有高灵活性和扩展性,帮助企业降低成本、提高效率。文章详细讨论了云计算转型的核心概念、实践方法和挑战,包括数据中心迁移、应用程序迁移、数据迁移和系统集成。此外,还提供了负载均衡、数据存储和处理、安全性的代码实例,并展望了云计算的未来发展趋势和面临的挑战。
23 0
|
1月前
|
人工智能 安全 网络安全
云计算与网络安全:构建安全的数字生态系统
随着云计算技术的广泛应用,网络安全问题日益凸显。本文从云服务、网络安全和信息安全等技术领域出发,探讨了云计算与网络安全的关系及其挑战,并提出了相应的解决方案。通过深入分析云服务的安全架构、网络安全的防护策略以及信息安全的管理措施,揭示了构建安全数字生态系统的重要性。同时,强调了技术创新、人才培养和政策法规在保障云计算与网络安全方面的重要作用,为相关领域的研究和实践提供了有益的参考。
58 7
|
1月前
|
存储 机器学习/深度学习 安全
小微企业的如何使用云计算帮助企业节约成本?
小微企业的如何使用云计算帮助企业节约成本?
|
1月前
|
Java Go 云计算
Go语言在云计算和高并发系统中的卓越表现
【10月更文挑战第10天】Go语言在云计算和高并发系统中的卓越表现
|
2月前
|
存储 安全 网络安全
云计算与网络安全:构建安全的数字生态系统## 一、
随着云计算技术的迅猛发展,网络安全问题日益凸显。本文探讨了云服务、网络安全和信息安全之间的紧密联系,分析了当前面临的主要挑战,并提出了相应的解决策略。通过深入剖析云计算环境中的安全问题,本文旨在为读者提供一个全面而清晰的认识,帮助大家更好地应对云计算时代的网络安全挑战。 ## 二、
|
2月前
|
云安全 安全 网络安全
探索云计算与网络安全的共生之道在数字化浪潮席卷全球的今天,云计算作为信息技术的一大革新,正重塑着企业的运营模式与服务交付。然而,随着云服务的普及,网络安全与信息安全的挑战也日益凸显,成为制约其发展的关键因素。本文旨在深入探讨云计算环境下的网络安全问题,分析云服务、网络安全及信息安全之间的相互关系,并提出相应的解决策略,以期为构建一个更安全、可靠的云计算生态系统提供参考。
本文聚焦于云计算环境中的网络安全议题,首先界定了云服务的基本概念及其广泛应用领域,随后剖析了当前网络安全面临的主要威胁,如数据泄露、身份盗用等,并强调了信息安全在维护网络空间秩序中的核心地位。通过对现有安全技术和策略的评估,包括加密技术、访问控制、安全审计等,文章指出了这些措施在应对复杂网络攻击时的局限性。最后,提出了一系列加强云计算安全的建议,如采用零信任架构、实施持续的安全监控与自动化响应机制、提升员工的安全意识教育以及制定严格的合规性标准等,旨在为云计算的安全可持续发展提供实践指南。
75 0
|
11天前
|
存储 安全 网络安全
云计算时代的网络安全挑战与策略
【10月更文挑战第34天】在数字化转型的浪潮中,云计算作为一项关键技术,正深刻改变着企业的运营方式。然而,随着云服务的普及,网络安全问题也日益凸显。本文将探讨云计算环境下的安全挑战,并提出相应的防护策略。