一、网络传输
1.下载和网络请求
(1)ping命令
可以通过ping命令,检查指定的网络服务器是否是可联通状态
语法:
• 选项: -c ,检查的次数,不使用 -c 选项,将无限次数持续检查
• 参数: ip 或主机名,被检查的服务器的 ip 地址或主机名地址
示例:
•检查到baidu.com是否联通
结果表示联通,延迟8ms左右
• 检查到 39.156.66.10 是否联通,并检查 3 次
***如果大家遇到 ping: baidu.com: 未知的名称或服务 这里如果遇到这种问题实在解决不了可以参考up主的解决办法:https://www.bilibili.com/video/BV1GV411r7XU/?spm_id_from=333.337.search-card.all.click&vd_source=0b07d2b22011a74e054d80652d011e59很实用,但可能出现远程连接不上的情况
(2)wget命令
wget是非交互式的文件下载器,可以在命令行内下载网络文件
语法:
• 选项: -b ,可选,后台下载,会将日志写入到当前工作目录的 wget -log 文件
• 参数: url ,下载链接
示例:
• 下载 apache-hadoop 3.3.0 版本: wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
• 在后台下载: wget -b http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
• 通过 tail 命令可以监控后台下载进度: tail -f wget -log
注意:无论下载是否完成,都会生成要下载的文件,如果下载未完成,请及时清理未完成的不可用文件。
(3)curl命令
curl可以发送http网络请求,可用于:下载文件、获取信息等
语法:
• 选项: -O ,用于下载文件,当 url 是下载链接时,可以使用此选项保存文件
• 参数: url ,要发起请求的网络地址
示例:
•向cip.cc发起网络请求:curl cip.cc
• 向 python.itheima.com 发起网络请求: curl python.itheima.com
• 通过 curl 下载 hadoop-3.3.0 安装包: curl -O http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
2.端口
端口,是设备与外界通讯交流的出入口。端口可以分为:物理端口和虚拟端口两类
• 物理端口:又可称之为接口,是可见的端口,如 USB 接口, RJ45 网口, HDMI 端口等
• 虚拟端口:是指计算机内部的端口,是不可见的,是用来操作系统和外部进行交互使用的
物理端口
虚拟端口
物理端口我们日常生活中经常见到,也能知晓它的作用。
但是虚拟端口,有什么用?为什么需要它呢?
计算机程序之间的通讯,通过IP只能锁定计算机,但是无法锁定具体的程序。
通过端口可以锁定计算机上具体的程序,确保程序之间进行沟通
IP地址相当于小区地址,在小区内可以有许多住户(程序),而门牌号(端口)就是各个住户(程序)的联系地址
Linux系统是一个超大号小区,可以支持65535个端口,这6万多个端口分为3类进行使用:
• 公认端口: 1~1023 ,通常用于一些系统内置或知名程序的预留使用,如 SSH 服务的 22 端口, HTTPS 服务的 443 端口
非特殊需要,不要占用这个范围的端口
• 注册端口: 1024~49151 ,通常可以随意使用,用于松散的绑定一些程序 \ 服务
• 动态端口: 49152~65535 ,通常不会固定绑定程序,而是当程序对外进行网络链接时,用于临时使用。
如图中,计算机A的微信连接计算机B的微信,A使用的50001即动态端口,临时找一个端口作为出口
计算机B的微信使用端口5678,即注册端口,长期绑定此端口等待别人连接
查看端口占用
可以通过Linux命令去查看端口的占用情况
• 使用 nmap 命令,安装 nmap : yum -y install nmap
语法:nmap 被查看的IP地址
查看本机ip可用端口
可以看到,本机(127.0.0.1)上有5个端口现在被程序占用了。
其中:
• 22 端口,一般是 SSH 服务使用,即 FinalShell 远程连接 Linux 所使用的端口
• 可以通过 netstat 命令,查看指定端口的占用情况
语法:netstat -anp | grep 端口号,安装netstat:yum -y install net-tools
如图,可以看到当前系统6000端口被程序(进程号7168)占用了
其中,0.0.0.0:6000,表示端口绑定在0.0.0.0这个IP地址上,表示允许外部访问
可以看到,当前系统12345端口,无人使用哦。
二、进程管理
1.进程
程序运行在操作系统中,是被操作系统所管理的。
为管理运行的程序,每一个程序在运行的时候,便被操作系统注册为系统中的一个:进程
并会为每一个进程都分配一个独有的:进程ID(进程号)
Windows系统任务管理器
Linux系统查看进程
2.查看进程
可以通过ps命令查看Linux系统中的进程信息
语法:
选项:-e,显示出全部的进程
选项:-f,以完全格式化的形式展示信息(展示全部信息)
一般来说,固定用法就是: ps -ef 列出全部进程的全部信息
从左到右分别是:
• UID :进程所属的用户 ID
• PID :进程的进程号 ID
• PPID :进程的父 ID (启动此进程的其它进程)
• C :此进程的 CPU 占用率(百分比)
• STIME :进程的启动时间
• TTY :启动此进程的终端序号,如显示 ? ,表示非终端启动
• TIME :进程占用 CPU 的时间
• CMD :进程对应的名称或启动路径或启动命令
3.查看指定进程
• 执行命令: tail ,可以看到,此命令一直阻塞在那里
• 复制一个标签页,执行: ps - ef 找出 tail 这个程序的进程信息
• 问题:是否会发现,列出的信息太多,无法准确的找到或很麻烦怎么办?
我们可以使用管道符配合grep来进行过滤,如:
ps -ef | grep tail,即可准确的找到tail命令的信息
• 过滤不仅仅过滤名称,进程号,用户 ID 等等,都可以被 grep 过滤哦
• 如: ps - ef | grep 30001 ,过滤带有 30001 关键字的进程信息(一般指代过滤 30001 进程号)
4. 关闭进程
在Windows系统中,可以通过任务管理器选择进程后,点击结束进程从而关闭它。
同样,在Linux中,可以通过kill命令关闭进程。
语法:
选项:-9,表示强制关闭进程。不使用此选项会向进程发送信号要求其关闭,但是否关闭看进程自身的处理机制。
三、主机状态
1.查看系统资源占用
• 可以通过 top 命令查看 CPU 、内存使用情况,类似 Windows 的任务管理器
默认每5秒刷新一次,语法:直接输入top即可,按q或ctrl + c退出
2.top命令内容详解
• 第一行:
top:命令名称,17:38:44:当前系统时间,up 32 min:启动了32分钟,3 users:3个用户登录,load:1、5、15分钟负载
• 第二行:
Tasks:204个进程,3 running:3个进程子在运行,201 sleeping:201程睡眠,0个停止进程,0个僵尸进程
• 第三行:
%Cpu(s):CPU使用率,us:用户CPU使用率,sy:系统CPU使用率,ni:高优先级进程占用CPU时间百分比,id:空闲CPU率,wa:IO等待CPU占用率,hi:CPU硬件中断率,si:CPU软件中断率,st:强制等待占用CPU率
• 第四、五行:
Kib Mem:物理内存,total:总量,free:空闲,used:使用,buff/cache:buff和cache占用
KibSwap:虚拟内存(交换空间),total:总量,free:空闲,used:使用,buff/cache:buff和cache占用
•PID:进程id
• USER :进程所属用户
• PR :进程优先级,越小越高
• NI :负值表示高优先级,正表示低优先级
• VIRT :进程使用虚拟内存,单位 KB
•RES:进程使用物理内存,单位KB
• SHR :进程使用共享内存,单位 KB
• S :进程状态( S 休眠, R 运行, Z 僵死状态, N 负数优先级, I 空闲状态)
•%CPU:进程占用CPU率
•%MEM:进程占用内存率
• TIME+ :进程使用 CPU 时间总计,单位 10 毫秒
• COMMAND :进程的命令或名称或程序文件路径
3.top命令
top命令也支持选项:
4.top的交互式选项
当top以交互式运行(非-b选项启动),可以用以下交互式命令进行控制
5.磁盘信息监控
• 使用 df 命令,可以查看硬盘的使用情况
语法:df [-h]
选项:-h,以更加人性化的单位显示
• 可以使用 iostat 查看 CPU 、磁盘的相关信息
语法:iostat [-x] [num1] [num2]
• 选项: -x ,显示更多信息
• num1 :数字,刷新间隔, num2 :数字,刷新几次
tps:该设备每秒的传输次数(Indicate the number of transfers per second that were issued to the device.)。"一次传输"意思是"一次I/O请求"。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。
使用iostat的-x选项,可以显示更多信息
rrqm/s: 每秒这个设备相关的读取请求有多少被Merge了(当系统调用需要读取数据的时候,VFS将请求发到各个FS,如果FS发现不同的读取请求读取的是相同Block的数据,FS会将这个请求合并Merge, 提高IO利用率, 避免重复调用);
wrqm/s: 每秒这个设备相关的写入请求有多少被Merge了。
rsec/s: 每秒读取的扇区数;sectors
wsec/: 每秒写入的扇区数。
rKB/s: 每秒发送到设备的读取请求数
wKB/s: 每秒发送到设备的写入请求数
avgrq-sz 平均请求扇区的大小
avgqu-sz 平均请求队列的长度。毫无疑问,队列长度越短越好。
await: 每一个IO请求的处理的平均时间(单位是微秒毫秒)。
svctm 表示平均每次设备I/O操作的服务时间(以毫秒为单位)
%util: 磁盘利用率
6.网络状态监控
可以使用sar命令查看网络的相关统计(sar命令非常复杂,这里仅简单用于统计网络)
语法:sar -n DEV num1 num2
选项:-n,查看网络,DEV表示查看网络接口
num1:刷新间隔(不填就查看一次结束),num2:查看次数(不填无限次数)
信息解读:
• IFACE 本地网卡接口的名称
• rxpck/s 每秒钟接受的数据包
• txpck/s 每秒钟发送的数据包
•rxKB/S 每秒钟接受的数据包大小,单位为KB
•txKB/S 每秒钟发送的数据包大小,单位为KB
• rxcmp/s 每秒钟接受的压缩数据包
• txcmp/s 每秒钟发送的压缩包
• rxmcst/s 每秒钟接收的多播数据包
如图,查看2次,隔3秒刷新一次,并最终汇总平均记录
四、环境变量
1.环境变量
cd命令的本体就是:/usr/bin/cd 这个程序文件。
我们是否会有疑问,为何无论当前工作目录在哪里,都能执行:/usr/bin/cd这个程序呢?
这就是环境变量的作用啦。
环境变量是操作系统(Windows、Linux、Mac)在运行的时候,记录的一些关键性信息,用以辅助系统运行。
在Linux系统中执行:env命令即可查看当前系统中记录的环境变量
环境变量是一种KeyValue型结构,即名称和值,如下图:
如上图,图中记录了:
• HOME : /home/itheima ,用户的 HOME 路径
• USER : itheima ,当前的操作用户
• PWD :当前工作路径
• ......
等等一系列信息,用于辅助系统在运行的时候
从环境变量中获取关键信息
2.环境变量PATH
在前面提出的问题中,我们说无论当前工作目录是什么,都能执行/usr/bin/cd这个程序,这个就是借助环境变量中:PATH这个项目的值来做到的。
PATH记录了系统执行任何命令的搜索路径,如上图记录了(路径之间以:隔开):
• / usr /local/bin
• / usr /bin
• / usr /local/ sbin
• / usr / sbin
• /home/ itheima /.local/bin
• /home/ itheima /bin
当执行任何命令,都会按照顺序,从上述路径中搜索要执行的程序的本体
比如执行cd命令,就从第二个目录/usr/bin中搜索到了cd命令,并执行
3.$符号
在Linux系统中,$符号被用于取”变量”的值。
环境变量记录的信息,除了给操作系统自己使用外,如果我们想要取用,也可以使用。
取得环境变量的值就可以通过语法:$环境变量名 来取得
比如: echo $PATH
就可以取得PATH这个环境变量的值,并通过echo语句输出出来。
又或者:echo ${PATH}ABC
当和其它内容混合在一起的时候,可以通过{}来标注取的变量是谁
4.自行设置环境变量
Linux环境变量可以用户自行设置,其中分为:
• 临时设置,语法: export 变量名 = 变量值
• 永久生效
• 针对当前用户生效,配置在当前用户的:vi ~/.bashrc 文件中
• 针对所有用户生效,配置在系统的: / etc /profile 文件中
• 并通过语法: source 配置文件 ,进行立刻生效,或重新登录 FinalShell 生效
5.自定义环境变量PATH
环境变量PATH这个项目里面记录了系统执行命令的搜索路径。
这些搜索路径我们也可以自行添加到PATH中去。
测试:
• 在当前 HOME 目录内创建文件夹, myenv ,在文件夹内创建文件 mkhaha
• 通过 vim 编辑器,在 mkhaha 文件内填入: echo 哈哈哈哈哈
完成上述操作后,随意切换工作目录,执行mkhaha命令尝试一下,会发现无法执行
• 修改 PATH 的值
临时修改PATH:export PATH=$PATH:/home/itheima/myenv,再次执行mkhaha,无论在哪里都能执行了
或将export PATH=$PATH:/home/itheima/myenv,填入用户环境变量文件或系统环境变量文件中去
演示:
最终效果
五、压缩格式
市面上有非常多的压缩格式
• zip 格式: Linux 、 Windows 、 MacOS ,常用
• 7zip : Windows 系统常用
• rar : Windows 系统常用
• tar : Linux 、 MacOS 常用
• gzip : Linux 、 MacOS 常用
在Windows系统中常用的软件如:winrar、bandizip等软件,都支持各类常见的压缩格式,这里不多做讨论。
我们现在要学习,如何在Linux系统中操作:tar、gzip、zip这三种压缩格式
完成文件的压缩、解压操作。
1.tar命令
Linux和Mac系统常用有2种压缩格式,后缀名分别是:
• .tar ,称之为 tarball ,归档文件,即简单的将文件组装到一个 .tar 的文件内,并没有太多文件体积的减少,仅仅是简单的封装
• . gz ,也常见为 .tar.gz , gzip 格式压缩文件,即使用 gzip 压缩算法将文件压缩到一个文件内,可以极大的减少压缩后的体积
针对这两种格式,使用tar命令均可以进行压缩和解压缩的操作
语法:
•-c,创建压缩文件,用于压缩模式
•-v,显示压缩、解压过程,用于查看进度
•-x,解压模式
•-f,要创建的文件,或要解压的文件,-f选项必须在所有选项中位置处于最后一个
•- z:使用 gzip 方式进行处理,它与”c“结合就表示压缩,与”x“结合就表 示解压缩。
•-j:使用 bzip2 方式进行处理,它与”c“结合就表示压缩,与”x“结合就 表示解压缩。
• -C ,选择解压的目的地,用于解压模式
2. tar命令组合
tar的常用组合为:
• tar - cvf test.tar 1.txt 2.txt 3.txt
将1.txt 2.txt 3.txt 压缩到test.tar文件内
• tar - zcvf test.tar.gz 1.txt 2.txt 3.txt
将1.txt 2.txt 3.txt 压缩到test.tar.gz文件内,使用gzip模式
注意:
• -z 选项如果使用的话,一般处于选项位第一个
• -f 选项, 必须 在选项位最后一个
3.tar解压
常用的tar解压组合有
• tar - xvf test.tar
解压test.tar,将文件解压至当前目录
• tar - xvf test.tar -C /home/ itheima
解压test.tar,将文件解压至指定目录(/home/itheima)
• tar - zxvf test.tar.gz -C /home/ itheima
以Gzip模式解压test.tar.gz,将文件解压至指定目录(/home/itheima)
注意:
• -f 选项,必须在选项组合体的最后一位
• -z 选项,建议在开头位置
• -C 选项单独使用,和解压所需的其它参数分开
4.zip命令压缩
可以使用zip命令,压缩文件为zip压缩包
语法:
• -r ,被压缩的包含文件夹的时候,需要使用 -r 选项,和 rm 、 cp 等命令的 -r 效果一致
示例:
• zip test.zip a.txt b.txt c.txt
将a.txt b.txt c.txt 压缩到test.zip文件内
• zip -r test.zip test itheima a.txt
将test、itheima两个文件夹和a.txt文件,压缩到test.zip文件内
5.unzip解压zip文件
使用unzip命令,可以方便的解压zip压缩包
语法:unzip [-d] 参数
• -d ,指定要解压去的位置,同 tar 的 -C 选项
• 参数,被解压的 zip 压缩包文件
示例:
• unzip test.zip ,将 test.zip 解压到当前目录
• unzip test.zip -d /home/ itheima ,将test.zip 解压到指定文件夹内(/home/ itheima )