大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)

前言

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

近6万字,没有更全的Linux笔记了!!

Linux是大数据中的基础,无论是运维或开发,都免不了要学,而且学的越扎实越好,下面为大家带来Linux学习笔记

操作系统概述

目标:了解 操作系统 的作用

1.1 操作系统(Operation System, OS)

操作系统作为接口的示意图:

没有安装操作系统的计算机, 通常被称为 裸机

  • 如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序
  • 如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发

1.2 操作系统的种类

  • 桌面操作系统
  • 服务器操作系统
  • 嵌入式操作系统
  • 移动设备操作系统
1.2.1 桌面操作系统
  • Window 系列
  • 用户群体大
  • macOS
  • 细节处理的更好, 没有windows软件丰富, 价格高
  • Linux
  • 应用软件少
1.2.2 服务器操作系统
  • Linux
  • 安全、稳定、免费
  • 占有率高
  • Windows Server
  • 付费
  • 占有率低
1.2.3 嵌入式操作系统
  • Linux
1.2.4 移动设备操作系统
  • IOS
  • Android (基于Linux)
  • 华为鸿蒙(基于linux)

1.2 发展史


  • linux 创始人: 林纳斯 托瓦兹
  • linux 诞生于: 1991年 作者上大学期间
  • 诞生原因:
  • 因为创始人 经常需要浏览新闻和处理邮件, 为了方便 读写 和 下载, 所以开发了 文件系统, 当时 21岁.
  • linux是开源免费
  • 后来经过全世界网友的支持, 现在能够兼容多种硬件
    唐纳德·特朗普
    弗拉基米尔·弗拉基米罗维奇·普京
    巴勃罗·迭戈·荷瑟·山迪亚哥·弗朗西斯科·德·保拉·居安·尼波莫切诺·克瑞斯皮尼亚诺·德·罗斯·瑞米迪欧斯·西波瑞亚诺·德·拉·山迪西玛·特立尼达·玛利亚·帕里西奥·克里托·瑞兹·布拉斯科·毕加索

1.3 内核

  • 内核(kernel) 是系统的心脏, 是运行程序和管理磁盘和打印机等硬件设备的核心程序.
  • Linux内核版本
  • 稳定版
  • 具有工业级强度, 可以广泛的应用和部署.
  • 开发版
  • 由于要试验各种解决方案, 所以变化很快
  • 内核源码网址: http:www.kernet.ort
  • 所有来自全世界的对linux源码的修改最终都会汇总到这个网站, 由 Linus 领导的开源社区对其进行甄别和修改, 最终决定是否进入到 LInux主线内核源码中

1.4 发行版

  • redhat:目前,全球最大的linux发行厂商,功能全面、稳定。
  • RedhatIBM 收购!
  • ubuntu:目前,是linux桌面操作系统做的最好的。
  • centos:免费版的redhat,centos基于redhat发行版基础之上,再重新编译发布的版本。
  • 目前 centos 已经被 Redhat 公司收购,但是依然免费

目标

  • 1: 使用 VM 虚拟机 模拟 电脑硬件
  • 2: 在虚拟的 电脑上 安装 centOS 操作系统( linux 发行版)
  • 3: 为了让别人能够访问操作, 配置 网络环境
  • 4: 使用远程客户端 CRTWinSCP 操作 linux操作系统
  • 5: 防止操作系统 意外损坏, 及时备份(快照)

2.1 VM虚拟机

2.1.1 概述
  • 虚拟机 (Virtual Machine)指通过软件模拟的具有完整硬件系统功能的. 运行在一个完全隔离环境中的完整计算机系统
  • 虚拟系统通过生成现有操作系统的全新虚拟镜像, 具有真实操作系统完全一样的功能.
  • 进入虚拟系统后, 所有操作都是在这个独立全新的独立的虚拟系统里面进行, 可以独立安装运行软件, 保存数据, 不会对真正的系统产生任何影响
  • 而且现有在系统与虚拟镜像之间灵活切换的一类操作系统
2.1.2 安装虚拟机

详情请参考 资料(环境) 中《01_开启电脑虚拟化》,《02_安装虚拟机软件》word文档!

2.1.3 配置网卡
目标
  • 了解桥接 和 NAT 的 联网原理
  • 配置虚拟机的网卡信息
a. 网络原理

桥接原理

因为 虚拟机的linux系统的ip地址是固定的, 更换路由器后导致无法使用, 所以 不推荐使用


NAT原理

如果宿主电脑可以上网, 内部的虚拟机也可以上网就好了

NAT原理本质上就是 虚拟机实现了交换机的功能, linux系统的IP地址就不会随宿主电脑的ip地址更改而更改

推荐使用这种方式

b. 确保 VMnet8已经启动

c. 设置VMnet8的ip地址

网关: 192.168.100.1

d. 确保所有关于VMWare的服务都开启

e 配置虚拟机的网卡

  • 核查 配置子网ip和子网掩码

  • 再次确认

2.2 centos是linux的发行版

2.2.1 目标

  • 在虚拟机上 安装centos系统 模拟 机房的一台服务器

2.2.2 路径

  • 第一步: 理解安装步骤
  • 第二步: 使用VM虚拟机 准备 硬件环境
  • 第三步: 在硬件环境 安装CentOs镜像
  • 第四步: 理解centos的文件和目录

2.2.4 实现

2.2.4.1 理解安装步骤

2.2.4.2 使用VM虚拟机 准备 硬件环境
  • 请参考资料中《03_创建虚拟主机》 word 文档
2.2.4.3 在硬件环境 安装CentOs镜像
  • 请参考资料中 《04_CentOS系统安装步骤》word 文档
2.2.4.4 配置网卡信息
目标
  • 能够让 宿主机新装的centOS 相互通信
第一步: 了解 网卡 和ip地址的概念
  • 网卡是一个专门负责网络通讯的硬件设备
  • ip地址是设置在网卡上的地址信息
  • 我们可以把 电脑 比作 手机, 网卡 相当于 手机卡槽, ip地址 相当于 手机号

  • IP地址
  • 每台联网的电脑上都有IP地址, 是保证电脑之间正常通讯的重要设置

注意: 每台电脑的IP地址不能相同, 否则 会出现IP地址冲突, 并且没有办法正常通讯

第二步: 查看网卡信息
  • ifconfig 和 ping
序号 命令 对应英文 作用
01 ifconfig configuration
a newwork interface
查看/配置计算机当前的网卡信息
02 ping ip地址 ping 检测到目标ip地址 的连接是否正常
03 service network restart 重启网卡服务
第三步: 通过 setup 命令设置网卡新
# 开始设置网卡信息
setup

重启网卡服务

测试能否上网, 注意: 前提是 宿主机必须能够上网

2.2.4.5 理解centos的文件和目录

  • windows 系统 可以拥有多个盘符, 如 C盘D盘E盘
  • Linux 没有盘符 这个概念, 有类似得分区(一个硬盘分多个分区)
  • Linux 所有文件都在‘根’(‘/’)目录下
  • Linux主要目录 速查表

  • /bin: 二进制命令所在的目录
  • /boot : 系统引导程序所需要的文件目录,引导系统开机
  • /dev :设备软件目录,磁盘,光驱,
  • /etc: 系统配置,启动程序
  • /home:普通用户的家,目录默认数据存放目录
  • /lib: 启动系统和运行命令所需的共享库文件和内核模块存放
  • /mnt:临时挂载储存设备的挂载点,u盘插入光驱无法使用,需要挂载然后使用
  • /opt:额外的应用软件包
  • /proc:操作系统运行时,进程信息和内核信息存放在这里
  • /root:Linux超级权限用户root的家目录
  • /sbin:和管理系统相关的命令,【超级管理员用】
  • /tmp:临时文件目录,这个目录被当作回收站使用
  • /usr:用户或系统软件应用程序目录
  • /var:存放系统日志的目录
  • 注意:一般不要 操作 非自己创建的目录和文件,否则可能导致服务器崩溃。

2.4 远程连接工具

2.4.1 secureCRT软件

  • secureCRT是Windows上 登录 服务器主机的软件
  • 主要是 通过命令行操作服务器
a.安装
  • 双击 下一步 就可以了
b.配置连接 linux系统

c. 修改主题和字体大小

d. 常用快捷键
tab键:命令或者路径提示及补全;
ctrl+c:放弃当前输入,终止当前任务或程序;
ctrl+l:清屏;
ctrl+shift+c:复制;
ctrl+shift+v:粘贴;
alt+b :打开connect窗口;
alt+1/2/3/4/5… :切换会话窗口

2.4.2 winSCP

  • 它的主要功能就是在本地远程计算机间 进行 文件 上传和下载
  • 使用 鼠标拖拽 即可完成

2.5 快照(备份)

2.5.1 目标

  • 快照就是 备份系统, 防止意外损坏, 降低损失

2.5.2 备份系统

a. 右键目标centos系统 -> 快照 -> 快照管理器

b. 拍摄快照

2.5.3 恢复到快照状态

a. 右键目标centos系统 -> 快照 -> 恢复到指定快照即可

3 常用命令

目标

  • 理解学习linux终端命令的原因
  • 学习技巧

01.学习Linux终端命令的原因

  • Linux刚面世时并没有图形界面, 所有的操作全靠命令完成, 如 磁盘操作、文件存取、目录操作、进程管理、文件权限 设定等
  • 在职场中,大量的 服务器维护工作 都是在 远程 通过SSH客户端 来完成的, 并没有图形界面, 所有的维护工作都需要通过命令来完成!

  • 在职场中, 作为后端程序员, 必须要或多或少的掌握一些Linux常用的终端命令
  • Linux发行版本的命令大概有200多个, 但是常用的命令只有10多个而已

学习终端命令的技巧:

  • 不需要死记硬背, 对于常用命令, 用的多了, 自然就记住了。
  • 不要尝试一次学会所有的命令, 有些命令是非常不常用的,临时遇到, 临时百度就可以

windows系统命令体验

参见《资料(环境)》 内的05_windows命令。

Linux终端命令格式

目标

  • 了解终端命令格式
  • 掌握常用命令
  • 了解知道如何查阅终端命令帮助信息

01.终端命令格式

command [-options] [parameter]

说明:

  • command : 命令名, 相应功能的英文单词或单词的缩写
  • [-options] : 选项, 可用来对命令进行控制, 也可以省略
  • parameter : 传给命令的参数, 可以是 零个、一个 或者 多个

1.1 常用Linux命令的基本使用

序号 命令 对应英文 作用
01 ls list 查看当前目录下的内容
02 pwd print working derectory 查看当前所在文件夹
03 cd [目录名] change directory 切换文件夹
04 touch [文件名] touch 如果文件不存在, 新建文件
05 mkdir [目录名] make directory 创建目录
06 rm [文件名] remove 删除指定的文件名
07 clear clear 清屏

02.目录(文件夹)常用命令

目标:文件夹的增、删、改、查的命令操作

2.1创建文件夹的命令

格式:mkdir 目录名

mkdir -p 目录名1/目录名2/目录名3(嵌套)

注意: 新建目录的名称 不能与当前目录中 已有的目录或文件 同名

示例: mkdir /opt/dir1

mkdir -p /opt/dir1/dir2/dir3/dir4

2.2删除文件夹的命令(谨慎使用,谨慎使用,谨慎使用

格式:rm 文件夹 (有提示)

rm -f 文件夹 (取消提示)

rm -rf 文件夹 (递归删除)

rm -rf 结合通配符 * ? [abc][a-z]

rm -rf dir3*

示例:rm -rf /opt/dir1/dir2/dir3/dir4

参数 英文 含义
-r recursive (递归) 递归地删除目录下的内容, 删除文件夹 时必须加此参数
-f force (强制) 强制删除,忽略不存在的文件, 无需提示
2.3修改文件夹的命令
格式:mv  旧文件夹名       新文件夹名

改变位置:mv 就路径 新路径(已经存在)

示例: mv /opt/dir1 /opt/dir111

mv /opt/dir111 /opt/dir1/dir2/dir3

2.4查询文件夹的命令

格式:ls 文件夹名 (包含权限、日期等信息)

ll 文件夹名 (不包含权限、日期等信息)

列出某一目录内的内容(内容包括子文件夹和文件)

ls 或 ll 列举出当前文件夹内的文件夹和文件

示例: ls /opt

ll /opt

2.5 其他命令
目录切换命令

格式:cd 目标路径

cd …/ (进入上级目录)

示例 : cd /opt

cd …/…/

软连接(快捷键)

格式:ln -s 目标文件绝对路径 快捷方式路径

示例:ln -s /opt/dir1/dir2/dir3 /dir3

当前位置

格式:pwd

复制文件夹

格式:cp -a 原文件夹 目标文件夹

练习:

1、在/tmp目录下创建一个自己姓名的文件夹

2、进入该文件夹,一次性创建文件夹/tmpdir1/tmpdir2/tmpdir3/tmpdir4/tmpdir5

3、将文件夹tmpdir4及其子文件夹移动到与tmpdir1相同的目录

4、创建tmpdir3的软连接到与tmpdir1相同的目录

5、将tmpdir5 名称改为tmpdir555

6、在目录tmpdir1下创建文件夹tmp1、tmp2、tmp3、tmp4

7、查看tmpdir1目录下有哪些文件夹(包含详细信息)

8、删除文件夹tmp1、tmp2、tmp3、tmp4

9、一次性删除文件夹/tmp/姓名

03.文件常用命令

目标:文件的增、删、改、查的命令操作

3.1创建文件的命令

创建空文件 - 格式:touch 文件名(文件存在、不存均可)

创建有数据的文件 - 格式:echo ‘abc’ > 文件名(文件名不能存在)

示例: touch test1.txt test2.txt test3.txt

echo ‘abc’ > test4.txt

3.2删除文件的命令(谨慎使用,谨慎使用,谨慎使用

格式:rm 文件夹 (有提示)

rm -f 文件 (取消提示)

rm -rf 文件 (递归删除)

rm -rf 结合通配符 * ? [abc][a-z]

rm -rf *.txt

示例:rm -rf test1.txt test2.txt

参数 英文 含义
-r recursive (递归) 递归地删除目录下的内容, 删除文件夹 时必须加此参数
-f force (强制) 强制删除,忽略不存在的文件, 无需提示
3.3修改文件的命令
格式:mv  旧文件名       新文件名

示例: mv test3.txt test333.txt

3.4查询文件的命令
查看文件信息

格式:ls 文件夹名 文件名 (包含权限、日期等信息)

ll 文件夹名 文件名 (不包含权限、日期等信息)

列出某一目录内的内容(内容包括子文件夹和文件)

ls 或 ll 列举出当前文件夹内的文件夹和文件

示例: ls /opt

ll /opt

查看文件前10行数据

格式 : head 文件名 或 head -10 文件名

示例 : head test1.txt 或 head -10 test1.txt

查看文件后10行数据

格式: tail 文件名 或 tail -10 文件名 或 tail -f 文件名

示例 : tail test1.txt 或tail -10 test1.txt

查看文件内容

格式:more 文件名

示例 :more test1.txt

查看所有

格式:cat 文件名

过滤查看

格式:grep 关键字 文件名

示例: grep is profile

3.5 其他命令
文件追加

格式:echo ‘abcde’ >> 文件名

示例:echo ‘abcde’ >> test4.txt

复制文件

 复制文件夹

格式:cp 原文件 目标文件

练习:

1、创建文件夹/opt/tmp/

2、在/opt/tmp/文件夹内,一次性创建空文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

3、在/opt/tmp/文件夹内,一次性创建文件 test5.txt ,文件内含有数字123456789

4、将文件 test5.txt 改为 test555.txt

5、向test555.txt 文件追加20行数据,第一行1、第二行2、第三行3、… …(或每行内容自己定)

6、查看test555.txt 文件前8行数据

7、查看test555.txt 文件后15行数据

8、删除文件test555.txt

9、删除文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

常用命令补充

ls 命令选项
选项 英文 含义
-a all 显示指定目录下所有子目录与文件, 包含隐藏文件
(以 . 开头的文件为隐藏文件, 需要用 -a 参数才能显示)
-l 以列表方式显示文件的详细信息
-h human-readable 配合 -l 以人性化的方式显示文件大小
通配符 含义
* 代表 任意个数 的字符
? 代表任意一个字符, 且只能是一个
[abc] 匹配a、b、c中任意一个
[a-f] 匹配从a到f范围内的任意一个字符
cd 命令选项
命令 含义
cd - 可以在最近的两次目录之间切换
cat 命令选项
命令 含义
-n 显示行号
-b 非空行 显示行号
grep命令选项

grep 选项 关键字 文件名

命令 含义
-n 显示匹配行和行号
-i 忽略大小写
-v 显示 不包含关键字 的所有行
^a 行首,搜索以a开头的行
ke$ 行尾,搜索以ke结束的行

查阅命令帮助信息(知道)

因为一个命令有很多可选项, 死记硬背肯定不行, 所以需要借助手册查阅.

–help 帮助信息

command --help

说明:

  • 显示 command 命令的帮助信息

缺点: 虽然可以查询命令的帮助信息, 但是没有提供 翻页、搜索功能.

终端使用技巧

自动补全
  • 在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下 tab
  • 如果还存在其他 文件 / 目录 / 命令, 再按一下tab键, 系统会提示可能存在的命令 自动补全

相对路径,结对路径

现有目录节后如下

在dir1目录 进入dir2 或dir3

相对路径进入 cd …/dir2 或 cd …/dir3

绝对路径进入 cd /opt/dir2 或 /opt/dir3

在dir1目录 进入dir7 或dir8

相对路径进入 cd …/…/dir7 或 cd …/…/dir8

绝对路径进入 cd /tmp/dir7 或 /tmp/dir8

在mnt目录 进入dir9 或dir10

相对路径进入 cd dir9 或 cd dir10

绝对路径进入 cd /mnt/dir9 或 /mnt/dir10

总结:

相对路径 :输入路径时, 最前面不是以 “/” 开始的, 表示相对 当前目录 所在的位置

不足:参照工作目录 发生变化 相对路径也要发生变化

绝对路径 :在输入路径时, 最前面是以 / 开始的, 表示 从 根目录 开始的具体目录位置

优点: 定位准确, 不会因为 工作目录变化 而变化

04 其他命令

&& 和 ||

命令 作用
命令1 && 命令2 如果 命令1执行成功了, 才执行 命令2

如果 创建 目录 成功, 就提示 创建成功

mkdir -p 正确目录 && echo "提示创建目录成功"
命令 作用
命令1 || 命令2 如果 命令1 执行失败了, 才执行 命令2

如果 创建 目录 失败, 就提示 创建失败

mkdir 错误目录 || echo "提示创建目录失败"

====================================================================================================================================================================================

我把四篇笔记整合在一篇,如果不方便阅读,从可以看其余的三篇

Linux学习笔记系列:

大数据开发工程师基本功修炼之Linux学习笔记(二)

大数据开发工程师基本功修炼之Linux学习笔记(三)

大数据开发工程师基本功修炼之Linux学习笔记(四)

VI编辑器_终端编辑器(重点重点重点)

目标

  1. vi简介
  2. 打开和新建文件
  3. 三种工作模式
  4. 常用命令查询

1 简介

1.1 学习vi的目的

  • 在工作中, 要对 服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器 进行简单的编辑即可
  • 需要修改的文件包括
  • 源代码
  • 配置文件
  • 例如: tomcat服务器的配置文件
  • 例如: 网卡信息的配置文件
  • 在没有图形界面的环境下, 要编辑文件, vi是最佳选择
    每一个使用linux的程序员,都应该或多或少的学习一些vi的常用命令

1.2 vi 和 vim

1.2.1 VI

  • vi是 visual interface的简称, 是linux中最经典的文本编辑器
  • vi 的核心设计思想
  • 让程序员的手指始终保持在键盘的 核心区域, 就能完成所有的编辑操作
  • vi的特点
  • 只能是编辑 文本内容, 不能对 字体 段落进行排版
  • 不支持鼠标操作
  • 没有菜单
  • 只有命令
  • vi编辑器在 系统管理 服务器管理 编辑文件时, 其功能永远不是图形界面的编辑器能比拟的

1.2.2 VIM

viM 是从vi发展出来的文本编辑器, 支持代码补全、编译 及 错误跳转等方便编程的功能提别丰富, 在程序员中被广泛使用, 被称为编辑器之神

2 打开和新建文件

  • 在终端中输入vim在后面跟上 文件名 即可
vim 文件名
  • 如果文件已经存在, 会直接打开该文件
  • 如果文件不存在, 保存且退出时 就会新建一个文件
1 vim 没有的文件名
2 编辑内容
  2.1 输出一行语句
  2.2 复制粘贴 2.1内容 19次
  2.3 保存且退出
3 查看

注意: 本节重点是 打开 和 新建文件, 其他命令后面会一一讲解

2.1 打开文件并且定位行

  • 在日常工作中, 有可能会遇到打开一个文件, 并定位到指定行的情况
  • 例如: 在开发是, 知道某一行代码有错误, 可以 快速定位 到出错误代码的位置
  • 这个时候, 可以使用以下命令打开文件
vim 文件名 +行数

提示: 如果只带上+ 而不指定行号, 会直接定位到文件末尾

2.2 VI三种工作模式

  • VI有三种工作模式
  1. 命令模式
  • 打开文件首先进入命令模式, 是使用vi的入口
  • 通过 命令 对文件进行常规的编辑操作, 例如 定位 翻页 复制 粘贴 删除 … …
  • 在其他图形编辑器下, 通过 快捷键 或者 鼠标 实现的操作, 都在 命令模式 下实现
  1. 末行模式 – 执行保存 退出等操作
  • 要退出 vi 返回到控制台, 需要在莫行模式下输入命令
  • 末行模式 是 vi 的出口
  1. 编辑模式 – 正常的编辑文字

2.4 末行模式命令

命令 英文 功能
w write 保存
q quit 退出,如果没有保存,不允许退出
q! quit 强行退出,不保存退出
wq write & quit 保存且退出(莫行模式)
x 保存并退出(莫行模式)
ZZ 保存并退出(命令模式)

3 常用命令

学习提示

  1. vi命令较多, 不要期望一下子全部都记住, 个别命令忘记了, 只是会影响编辑速度而已
    . 在使用vi命令时, 注意 关闭中文输入法

3.1 移动

要熟练使用vi, 首先应该学会怎么在 命令模式下 快速移动光标

编辑操作命令 能够和移动命令一起使用

1) 上 下 左 右

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U5rRQWfx-1624685398652)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558278451153.png)]

命令 功能 手指
h 向左 食指
j 向下 食指
k 向上 中指
l 向右 无名指

2) 行内移动

命令 英文 功能
w word 向后移动一个单词
b back 向前移动一个单词
0 行首
^ 行首, 第一个不是空白字符的位置
$ 行尾

3) 行数移动

命令 英文 功能
gg go 文件顶部
G go 文件末尾
数字gg go 移动到 数字 对应行数
数字G go 移动到 数字 对应行数
: 数字 移动到数字对应的 行数

4) 屏幕移动

命令 英文 功能
Ctrl + b back 向上翻页
Ctrl + f forward 向下翻页
H Head 屏幕顶部
M Middle 屏幕中间
L Low 屏幕底部

3.2 移动(程序)

1) 段落移动

  • vim中使用 空行 来区分段落
  • 程序开发时, 通常 一段功能相关的代码会写在一起 – 之间没有空行
命令 功能
{ 上一段
} 下一段

2) 括号切换

  • 在程序世界中, **()、[]、{}**使用率很高, 而且 都是成对出现的.
命令 功能
% 括号匹配及切换

3.3 选中文本(可视模式)

  • 学习 复制 命令前, 应该先学会 怎么样选中 要复制的代码
  • 在 vi 中要选择文本, 需要显示 visual 命令切换到 可视模式
  • vi 中提供了 三种 可视模式, 可以方便程序员的选择 选中文本的方式
  • 按 ESC 可以放弃选中, 返回到 命令模式
命令 模式 功能
v 可视模式 从光标位置开始按照正常模式选择文本
V 可视化模式 选中光标经过的完整行
Ctrl + v 可视块模式 垂直方向选中文本
  • 可视模式下, 可以和 移动命令 连用, 例如 ggVG 能够 选中所有的内容

3.4 撤销和恢复撤销(保命指令)

在学习编辑命令之前,先要知道怎样撤销之前一次 错误的 编辑操作

命令 英文 功能
u undo 撤销上次的命令(ctrl + z)
Ctrl + r uredo 恢复撤销的命令

3.5 删除文本

命令 英文 功能
x cut 删除光标所在的字符,或者选中的文字
d(移动命令) delete 删除移动命令对应的内容
dd delete 删除光标所在行, 可以ndd删除多行
D delete 删除至行尾

提示: 如果使用 可视模式 已经选中了一段文本, 那么无论使用 d 还是 x, 都可以删除选中文本

删除命令可以和移动命令连用, 以下是常见的组合命令:

命令 作用
dw 从光标位置删除到单词末尾
d0 从光标位置删除到一行的起始位置
d} 从光标位置删除到段落末尾
ndd 从光标位置向下连续删除 n 行

3.6 复制和剪切

  • vi 中提供有一个 被复制文本的缓冲区
  • 复制 命令会将选中的文字保存在缓冲区
  • 删除 命令删除的文字会被保存在缓冲区
  • 在需要的位置, 使用 粘贴 命令可以将缓冲对的文字插入到光标所在的位置
命令 英文 功能
y(复制命令) copy 复制
yy copy 复制一行,可以nyy复制多行
d(剪切命令) delete 剪切
dd(剪切) delete 剪切一行, 可以 ndd 剪切n行
p paste 粘贴

提示:

  • 命令 d 、x 类似于图形界面的 剪切操作 – ctrl + x
  • 命令 y 类似于 图形界面的 复制操作 – Ctrl + C
  • 命令 p 类似于图形界面的 粘贴操作 – Ctrl + v
  • vi中的文本缓冲区只有一个,如果后续做过 复制、剪切操作, 之前缓冲区中的内容会被替换.

注意

  • vi中的 文本缓冲区 和 系统的 剪切板 不是同一个
  • 所以在其他软件中使用 Ctrl + C 复制的内容, 不能再 vi 中通过 p 命令粘贴
  • 可以在 编辑模式 下使用 鼠标右键粘贴

3.7 替换

命令 英文 功能 工作模式
r replace 替换当前字符 命令模式
R replace 替换当前行光标后的字符 替换模式
  • R 命令可以进入 替换模式, 替换完成后, 按下ESC , 按下 ESC 可以回到 命令模式
  • 替换命令 的作用就是不用进入 编辑模式, 对文件进行 轻量级的修改

3.8 查找

常规查找

命令 功能
/str 查找str
  • 查找到指定内容之后, 使用Next查找下一个出现的位置
  • n : 查找下一个
  • N : 查找上一个
  • 如果不想看到高亮显示, 可以随便查找一个文件中不存在的内容即可
  • 单词快速匹配
命令 功能
* 向后查找当前光标所在单词
# 向前查找当前光标所在单词
  • 在开发中, 通过单词快速匹配, 可以快速看到这个单词在其他位置使用过

3.9 查找并替换

  • vi 中查找和替换命令需要在 末行模式 下执行
  • 记忆命令格式
:%s///g
  1. 全局替换
  • 一次向 替换文件中的 所有出现的旧文本
  • 命令格式如下
:%s/旧文本/新文本/g
  1. 可视区域替换
  • 先选中 要替换文字的 范围
  • 命令格式如下
:s/旧文本/新文本/g
  1. 确认替换

c confirm 确认

  • 如果把末尾的 g 改成 gc 在替换的时候, 会有提示! 推荐使用
  • 命令格式如下
:%s/旧文本/新文本/gc
  1. y - yes 替换
  2. n - no 不替换
  3. a - all 替换所有
  4. q -quit 退出替换
  5. l - last 最后一个, 并把光标移动到行首
  6. ^E 向下滚屏
  7. ^Y 向上滚屏

3.10 插入命令(重要)

  • 在 vi 中除了常用 i 进入编辑模式 外, 还提供了一下命令同样可以进入编辑模式
命令 英文 功能 常用
i insert 在当前字符前插入文本 常用
I insert 在行首插入文本 较常用
a append 在当前字符后添加文本
A append 在行末添加文本 较常用
o 在当前行后面插入一空行 常用
O 在当前行前面插入一空行 常用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RqHjJGgN-1624685398655)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558543477231.png)]

3.11 练习

演练1 – 编辑命令 和 数字连用

  • 在开发中, 可能会遇到连续输入 N 个同样的字符
  • 例如: ********** 连续10个星号

要实现这个效果可以在 命令模式

  1. 输入 10, 表示要重复10次
  2. 输入 i 进入 编辑模式
  3. 输入 * 也就是重复的文字
  4. 按下 ESC 返回 命令模式, 返回之后 vi 就会把 第 2、3 两步的操作重复 10

提示: 正常开发时, 在 进入编辑模式之前,不要按数字

搜索命令

2.find 搜索

准备工作
切换目录到 /export/ 且 清空内容

cd /export/ && rm -rf /export/* && tree

新增目录 且 切换目录 且 新增文件

mkdir -p /export/aaa/bbb/ccc/ddd/eee/

touch /export/aaa/bbb/ccc/ddd/eee/abc.txt

touch /export/aaa/123.txt

touch /export/aaa/312.txt

查看 /export 目录中的内容

tree /export

目标

  • 通过find命令 在特定目录下(包含它的后代目录) 搜索 符合条件的文件

2.1 路径

  • 第一步: 搜索指定目录下, 文件是 abc.txt的文件
  • 第二步: 搜索指定目录下, 文件名 包含 1 的文件
  • 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件
  • 第四步: 搜索指定目录下, 以数字1开头的文件

2.2实现 : 在指定目录中 根据名称 搜索

  • 命令格式
序号 命令格式 作用
01 find [路径] -name ‘*.txt’ 查找指定路径下扩展名是 .txt的文件, 包括子目录
  • 如果省略路径, 表示在当前文件夹下查找
  • 之前学习的通配符, 在使用find命令时同时可用
  • 第一步: 搜索指定目录下, 文件是 abc.txt的文件
# ===================实现目标============================
# 方式一: 指定全目录
find /export/ -name 'abc.txt'
# 方式二: 当前目录
find . -name 'abc.txt'
# 方式三: 当前目录 可以 省略 不写
find -name 'abc.txt'
  • 第二步: 搜索指定目录下, 文件名 包含 1 的文件
# =================准备工作===============
# 1 创建测试文件
touch /export/12.txt /export/616.txt /export/321.txt  
# =================实现目录===============
find /export/ -name "*1*"
  • 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件
find /export/ -name "*.txt"
  • 第四步: 搜索指定目录下, 以数字1开头的文件
find /export -name "1*"

2.3 小结

  • 通过 find [path] -name "*1*" 完成根据名称搜索文件

解压缩命令

  • 准备工作
# 清空指定目录内容
cd /export/ && rm -rf *
# 创建测试文件
touch 1.txt 2.txt 3.txt
# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt
# 查看结果
tree /export

目标

  • 从第三方 下载 压缩包, 解压缩后 安装到 服务器上
  • 通过 打包压缩 备份文件

jar : java rar java项目的压缩包

war : web rar web项目的压缩包

路径

  • 2.1 第一步: 打包 和 解包
  • **2.2 第二步: 打包压缩 和 解包解压缩 **

3.实现

3.1 第一步: 打包 和 解包

3.1.1 打包
  • 类似将 冬天的衣服 放到 袋
  • 打包之后的大文件 需要以 .tar 结尾.

tar打包命令格式

# 将 一系列文件 打包成 一个大文件
tar -cvf 打包名.tar 被打包的目录
tar -cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件3

tar 选项说明

命令 英文 含义
c create 生成档案文件, 创建打包文件
v verbosely(啰嗦的) 像 ‘唐僧’ 一样报告进度
f file 指定档案的文件名称, f后面一定是 .tar 文件, 所以必须放到左后
练习1: 将1.txt、2.txt、3.txt 打包成 123.tar文件
练习2: 将有内容的aaa目录 打包成 aaa.tar 文件
3.1.2 解包
  • 类似将 冬天的衣服 从 袋子里取出来

tar解包命令格式

# 将一个打包后的 分解成 一系列小文件, 分解位置为 当前目录
tar -xvf 打包名.tar
# 将一个打包后的 分解成 一系列小文件, 分解位置为 指定目录
tar -xvf 打包名.tar -C 解包路径位置
命令 英文 含义
x extract (提取) 解包
C (大写C) directory (目录) 默认保存到当前目录, 通过-C 更改解压目录, 注意: 解压目录必须存在
练习1: 将 123.tar 解压到 当前目录中
练习2: 将 aaa.tar 解包到 /export/test/a1/b1/c1/ 目录中
小结
打包: tar -cvf 打包之后的文件名.tar   被打包的目录或文件名
解包: tar -xvf 打包之后的文件名.tar  [ -C  指定解包位置 ]
  • 准备工作
# 清空指定目录内容
cd /export/ && rm -rf *
# 创建测试文件
touch 1.txt 2.txt 3.txt
# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt
# 查看结果
tree /export

3.2 第二步: 使用gzip格式 压缩 和 解压缩

  • 打包压缩 是两件事
  • 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气
  • Linux 中, 最常用的压缩文件格式是 xxx.tar.gz
  • tar 命令中有一个选项 -z 可以调用 gzip , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -zcvf 打包压缩文件名.tar.gz 被压缩的文件/目录
# 解压缩文件(记忆敲门: 至孝潍坊)
tar -zxvf 打包文件.tar.gz
# 解压缩到指定路径
tar -zxvf 打包文件.tar.gz -C 目录路径

tar 的选项说明

命令 英文 含义
z gzip 使用gzip压缩和解压缩
j bzip2 使用bzip2压缩和解压缩
练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.gz文件(gzip压缩格式)
练习2: 将有内容的aaa目录 打包成 aaa.tar.gz 文件(gzip压缩格式)
练习3: 将 123.tar.gz 解压到 当前目录中(gzip压缩格式)
练习4: 将 aaa.tar.gz 解包到 /export/bbb 目录中(gzip压缩格式)

小结

打包压缩: tar -zcvf 打包之后的文件名.tar.gz   被打包压缩的目录或文件名
解包解压缩: tar -zxvf 打包之后的文件名.tar.gz  [ -C  指定解包位置 ]
  • 准备工作
# 清空指定目录内容
cd /export/ && rm -rf *
# 创建测试文件
touch 1.txt 2.txt 3.txt
# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt
# 查看结果
tree /export

3.3 第三步: 使用 bzip2 格式 压缩 和 解压缩

  • bzip 是压缩的第二种方式
  • 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气
  • Linux 中, bzip2 压缩文件格式是 xxx.tar.bz2
  • tar 命令中有一个选项 -j 可以调用 bzip2 , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -jcvf 打包压缩文件名.tar.bz2 被压缩的文件/目录
# 解压缩文件 (绩效潍坊)
tar -jxvf 打包文件.tar.bz2
# 解压缩到指定路径
tar -jxvf 打包文件.tar.bz2 -C 目录路径

tar 的选项说明

命令 英文 含义
z gzip 使用gzip压缩和解压缩
j bzip2 使用bzip2压缩和解压缩
练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.bz2文件(bzip2压缩格式)
练习2: 将有内容的aaa目录 打包成 aaa.tar.bz2 文件(bzip2压缩格式)
练习3: 将 123.tar.bz2 解压到 当前目录中(bzip2压缩格式)
练习4: 将 aaa.tar.bz2 解包到 /export/bbb 目录中(bzip2压缩格式)

小结

打包压缩: tar -jcvf 打包之后的文件名.tar.bz2   被打包压缩的目录或文件名
解包解压缩: tar -jxvf 打包之后的文件名.tar.bz2  [ -C  指定解包位置 ]

关机

halt

重启

reboot

4 用户权限相关命令

目标

  • 理解 用户权限 的基本概念
  • 用户管理 终端命令
  • 组管理 终端命令
  • 修改权限 终端命令

用户和权限的基本概念

4.1 基本概念

  • 用户 是Linux系统工作中重要的一环, 用户管理包括 用户 管理
  • 在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥有不同的使用权限
  • 文件 / 目录 的权限包括:
序号 权限 英文 缩写 数字序号
01 read r 4
02 write w 2
03 执行 execute x 1
04 无权限 - 0
  • 在 Linux中 ,可以指定 每一个用户 针对 不同的文件或者目录不同权限

4.2 组

  • 为了方便用户管理, 提出了 的概念, 如下图所示

4.3 ls -l 扩展

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lwckbqR0-1624685398660)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1570973470529.png)]

  • ls -l可以查看文件夹下文件的详细信息, 从左到右 依次是:
  • 权限, 第一个字符如果是 d 表示目录
  • 硬链接数, 通俗的讲就是有多少种方式, 可以访问当前目录和文件
  • 拥有者, 家目录下 文件 / 木兰路 的拥有者通常都是 当前用户
  • , 在linux中, 很多时候, 会出现组名 和 用户名 相同的情况, 后续会讲
  • 大小
  • 时间
  • 名称


4.4.组管理 终端命令

本质: 给 同一类型用户 分配权限

序号 命令 作用
01 groupadd 组名 添加组
02 groupdel 组名 删除组
03 cat /etc/group 确认组信息
04 chgrp 组名 文件/目录名 修改文件/目录的所属组

提示:

  • 组信息保存在 /etc/group 文件中
  • /etc 目录是专门用来保存 系统配置信息 的目录
  • 在实际应用中, 可以预先针对 设置好权限, 然后 将不同的用户添加到对应的组中, 从而不用依次为每一个用户设置权限

演练目标

  1. 在 指定目录下 创建 aaa 目录
  2. 新建 dev
  3. aaa 目录的组修改为 dev

4.5.用户管理 终端命令

(1) 创建用户 / 设置密码 / 删除用户

命令 作用 说明
useradd -m -g 组 新建用户名 添加新用户 -m 自动建立用户家目录
-g 指定用户所在的组, 否则会建立一个和同名的组
passwd 用户名 设置用户密码 如果是普通用户,
直接用 passwd可以修改自己的账号密码
userdel -r 用户名 删除用户 -r 选项会自动删除用户家目录
cat /etc/passwd | grep 用户名 确认用户信息 新建用户后,用户信息会保存在 /etc/passwd文件夹中

提示:

  • 创建用时, 如果忘记添加 -m 选项指定新用户的家目录 – 最简单的方式就是删除用户,重新创建
  • 创建用户时, 默认会创建一个和用户名同名的组名
  • 用户信息保存在 /etc/passwd 文件中

/etc/passwd 文件存放的是用户的信息, 由6个分好组成的7个信息, 分别是

  1. 用户名
  2. 密码 (x, 表示加密的密码)
  3. UID (用户标志)
  4. GID(组标志)
  5. 用户全名或本地账号
  6. 家目录
  7. 登录使用的Shell, 就是登录之后, 使用的终端命令

(2) 查看用户信息

序号 命令 作用
01 id [用户名] 查看用户UID 和 GID 信息
02 who 查看当前所有登录的用户列表
03 whoami 查看当前登录用户的账户名

(3) su 切换用户

  • 因为 普通用户 不能使用某些权限, 所以需要 切换用户
序号 命令 作用 说明
01 su - 用户名 切换用户, 并且企划目录 - 可以切换到用户家目录, 否则保持位置不变
02 exit 退出当前登录用户
  • su 不接用户名, 可以切换到 root , 但是不推荐使用, 因为不安全
  • exit 示意图如下:

(4) sudo

  • 虽然 通过 su -u root 可以切换到 root用户, 但是 存在严重的 安全隐患
  • linux系统中的 root 账号通常 用于系统的维护和管理, 对操作系统的所有资源 具有访问权限
  • 如果不小心使用 rm -rf ... ... , 就可能将系统搞瘫痪
  • 在大多数版本的linux中, 都不推荐 直接只用 root 账号登录系统
  • sudo 命令用来以其他身份来执行命令, 预设的身份为 root
  • 用户使用 sudo 时, 必须先输入密码, 之后5分钟的有效期限, 超过期限则必须重新输入密码

提示: 若其未经授权的用户企图使用 sudo, 则会发出警告邮件给管理员

(4.1) 给 指定用户 授予 权限

  • 本质: 通知 服务器 给 特定用户 分配 临时管理员权限

vim /etc/sudoers

# 默认存在: root用户 具备所有的权限
root    ALL=(ALL)       ALL
# 授予 zhangsan 用户 所有的权限
zhangsan    ALL=(ALL)       ALL 

(4.2) 使用 用户 zhangsan 登录, 操作管理员命令

  • 本质: 使用临时管理员权限
# 不切换root用户, 也可以完成 添加用户的功能 
sudo useradd -m -g dev zhaoliu

准备工作: 使用root用户操作

# 清空目录中的内容
rm -rf /export/*
# 创建测试目录
mkdir -p /export/aaa/
# 创建测试文件
touch /export/aaa/01.txt /export/aaa/02.txt
# 查看指定目录内容
tree /export

(5).修改用户权限

序号 命令 作用
01 chmod 修改权限

5.1 方式一: 修改用户权限

  • chmod 可以修改 用户/组文件/目录 的权限
  • 命令格式如下:
chmod +/- rwx 文件名|目录名

提示: 已上方式会一次向修改 拥有者 / 权限

目标演练:

# 1. 使用 root 删除目录的可读 可写 可执行权限
# 2. 使用 其他用户如 zhangsan 无法切换到 这个目录
# 3. 使用 root 增加目录的执行权限, 再次 使用 zhangsan 切换到目录试试

5.2 方式二

  • 虽然 方式一 直接修改文件|目录读|写|执行 权限, 但是不能精确到 拥有者|组|其他 权限
  • 命令格式如下:( u 表示所属用户 / g 表示所属组 / o 表示其他)
chmod -R u=rwx,g=rx,o=rwx 文件|目录
序号 权限 英文 缩写 数字序号
01 read r 4
02 write w 2
03 执行 execute x 1
04 无权限 - 0

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 
    所属组 分配 可读、可执行 权限, 
    其他人 分配 可读、可执行 权限 

5.3 方式三: 简化方式二

  • 命令格式如下:
chmod -R 755 文件|目录
  • 说明 第一个数字拥有者权限, 第二个数字组权限, 第三个数字其他用户权限

常用数字组合有( u 表示用户 / g 表示组 / o 表示其他)

  • 777 ===> u=rwx, g=rwx, o=rwx
  • 755 ===> u=rwx, g=rx, o=rx
  • 644 ===> u=rw, g=r, o=r

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 
    所属组 分配 可读、可执行 权限, 
    其他人 分配 可读、可执行 权限 

系统信息相关命令

  • 本节内容主要是为了方便通过远程终端维护服务器时, 查看服务器上当前 系统日期和时间 / 磁盘空间占用情况 /程序执行情况
  • 本小结学习终端命令都是查询命令, 通过这些命令对系统资源的使用情况有个了解

目标

  • 时间和日期
  • date
  • cal
  • 磁盘和目录空间
  • df
  • du
  • 进程信息
  • ps
  • top
  • kill

1.时间和日期

1.1 date 时间

命令 作用
date 查看系统时间(默认)
date +"%Y-%m-%d %H:%M:%S" 查看系统时间(指定格式)
date -s “时间字符串” 设置系统时间

第一步: 显示当前时间

# 显示时间
date
# 按照指定格式显示时间
date +"%Y-%m-%d %H:%M:%S"

第二步: 设置系统时间

date -s "时间字符串"

1.2 cal 日历

序号 命令 作用
01 cal 查看当前月的日历
02 cal -y 查看当前年的日历
03 cal 2020 查看2020年的日历
04 cal 10 2020 查看2020年10月的日历

02.磁盘信息

序号 命令 作用
01 df -h disk free 显示磁盘剩余空间
02 du -h [目录名] disk usage 显示目录下的目录大小
  • 选项说明
参数 含义
-h 以人性化的方式显示文件的大小

03.进程信息

  • 所谓 进程, 通俗的说就是 当前正在执行的一个进程
序号 命令 作用
01 ps aux process status 查看进程的详细情况
02 top 动态显示运行中进程并且排序
03 kill [-9] 进程代号 终止指定代号的进程 -9 表示强行终止

ps 默认只会显示当前用户通过终端启动的应用程序

  • ps 选项说明功能
选项 含义
a 显示终端上的所有进程,包括其他用户的进程
u 显示进程的详细状态
x 显示没有控制终端的进程

提示: 使用kill命令时, 最好只终止由当前用户开启的进程, 而不要终止root身份开启的进程, 否则可能导致系统崩溃

  • 要退出 top 可以直接输入 q

top

us 用户空间占用CPU百分比
sy 内核空间占用CPU百分比
ni 用户进程空间内改变过优先级的进程占用CPU百分比
id 空闲CPU百分比
wa 等待输入输出的CPU时间百分比
hi 硬件中断
si 软件中断 
st: 实时

PID 进程号

USER 用户名

PR 优先级

NI nice值。负值表示高优先级,正值表示低优先级m

RES 进程使用的、未被换出的物理内存大小,单位kb

SHR 共享内存大小,单位kb

S 进程状态。

D=不可中断的睡眠状态

R=运行

S=睡眠

T=跟踪/停止

Z=僵尸进程

%CPU CPU使用率

%MEM 进程使用的物理内存百分比

TIME+ 进程使用的CPU时间总计,单位1/100秒

COMMAND 执行的命令

管道相关命令

目标

  • cut
  • sort
  • wc
  • uniq
  • tee
  • tr
  • split
  • awk
  • sed
  • grep
  • 准备工作
zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46
  • 以上是成绩表信息
  • 使用 逗号 分割, 第一列 是 姓名, 第二列是 语文成绩, 第三列是 数学成绩, 第四列是 英语成绩

准备工作

vim 1.txt

111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii

1 cut

1.1 目标

  • cut 根据条件 从命令结果中 提取 对应内容

1.2 实现

第一步: 截取出1.txt文件中前2行的第5个字符

命令 含义
cut 动作 文件 从指定文件 截取内容
  • 参数
参数 英文 含义
-c characters 按字符选取内容
head -2 1.txt | cut -c 5

第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容

参数 英文 含义
-d '分隔符' delimiter 指定分隔符
-f n1,n2 fields 分割以后显示第几段内容, 使用 , 分割

范围控制

范围 含义
n 只显示第n项
n- 显示 从第n项 一直到行尾
n-m 显示 从第n项 到 第m项(包括m)
head -2 1.txt | cut -d ':' -f 1,2
head -2 1.txt | cut -d ':' -f 1-2

1.3 小结

  • 通过 cut 动作 目标文件 可以根据条件 提取对应内容
  • 准备工作
    vim score.txt
zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

2 sort

2.1 目标

  • sort可针对文本文件的内容,以行为单位来排序。

2.2 路径

  • 第一步: 对字符串排序
  • 第二步: 去重排序
  • 第三步: 对数值排序
  • 第四步: 对成绩排序

2.3 实现

第一步: 对字符串排序

[root@node01 tmp]# cat 2.txt
banana
apple
pear
orange
pear
[root@node01 tmp]# sort 2.txt 
apple
banana
orange
pear
pear

第二步: 去重排序

参数 英文 含义
-u unique 去掉重复的

它的作用很简单,就是在输出行中去除重复行。

[root@node01 tmp]# sort -u 2.txt 
apple
banana
orange
pear

第三步: 对数值排序

参数 英文 含义
-n numeric-sort 按照数值大小排序
-r reverse 使次序颠倒
  • 准备数据
[root@node01 tmp]# cat 3.txt 
1
3
5
7
11
2
4
6
10
8
9
  • 默认按照字符串排序
[root@node01 tmp]# sort 2.txt 
1
10
11
2
3
4
5
6
7
8
9
  • 升序
[root@node01 tmp]# sort -n 2.txt
1
2
3
4
5
6
7
8
9
10
11
  • 倒序
[root@node01 tmp]# sort -n -r 2.txt
11
10
9
8
7
6
5
4
3
2
1
  • 合并式
[root@node01 tmp]# sort -nr 2.txt  
11
10
9
8
7
6
5
4
3
2
1

第四步: 对成绩排序

参数 英文 含义
-t field-separator 指定字段分隔符
-k key 根据那一列排序

‘’

# 根据第二段成绩 进行倒序显示 所有内容
sort -t ',' -k2nr score.txt 

3 wc命令

3.1 目标

  • 显示指定文件字节数, 单词数, 行数 信息.

3.2 路径

  • 第一步: 显示指定文件字节数, 单词数, 行数 信息.
  • 第二步: 只显示 文件 的行数
  • 第三步: 统计多个文件的 行数 单词数 字节数
  • 第四步: 查看 /etc 目录下 有多少个 子内容

3.3 实现

第一步: 显示指定文件字节数, 单词数, 行数 信息.

命令 含义
wc 文件名 显示指定文件字节数, 单词数, 行数 信息
[root@hadoop01 export]# cat 4.txt
111
222 bbb
333 aaa bbb 
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee
[root@hadoop01 export]# wc 4.txt 
 6 21 85 4.txt

第二步: 只显示 文件 的行数

参数 英文 含义
-c bytes 字节数
-w words 单词数
-l lines 行数
[root@hadoop01 export]# wc 4.txt 
 6 21 85 3.txt

第三步: 统计多个文件的 行数 单词数 字节数

[root@hadoop01 export]# wc 1.txt 2.txt 3.txt 
  4   4  52 1.txt
 11  11  24 2.txt
  6  21  85 3.txt
 21  36 161 总用量
[root@hadoop01 export]# wc *.txt
  4   4  52 1.txt
 11  11  24 2.txt
  6  21  85 3.txt
  6   6  95 score.txt
 27  42 256 总用量

第四步: 查看 /etc 目录下 有多少个 子内容

[root@hadoop01 export]# ls /etc | wc -w
240

3.4 小结

  • 通过 wc 文件 就可以 统计 文件的 字节数、单词数、行数.

4 uniq

uniq 命令用于检查及删除文本文件中重复出现的行,一般与 sort 命令结合使用。

4.1 目标

  • uniq 命令用于检查及删除文本文件中重复出现的行,一般与 sort 命令结合使用。

4.2路径

  • 第一步:实现去重效果
  • 第二步:不但去重,还要 统计出现的次数

4.3 实现

第一步:实现去重效果

命令 英文 含义
uniq [参数] 文件 unique 唯一 去除重复行
# 准备内容
[root@hadoop01 export]# cat 5.txt 
张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70
# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四    100
李四    100
麻七    70
麻七    70
王五    90
王五    90
张三    98
赵六    95
赵六    95
# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四    100
麻七    70
王五    90
张三    98
赵六    95

第二步:不但去重,还要 统计出现的次数

参数 英文 含义
-c count 统计每行内容出现的次数
[root@hadoop01 export]# cat 5.txt | sort | uniq -c
      2 李四    100
      2 麻七    70
      2 王五    90
      1 张三    98
      2 赵六    95

4.4 小结

  • 通过 uniq [选项] 文件 就可以完成 去重行 和 统计次数

5 tee

5.1 目标

  • 通过 tee 可以将命令结果 通过管道 输出到 多个文件

5.2 实现

命令 含义
命令结果 | tee 文件1 文件2 文件3 通过 tee 可以将命令结果 通过管道 输出到 多个文件
  • 将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中
cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt

5.3 小结

  • 通过 tee 可以将命令结果 通过管道 输出到 多个文件

6 tr

6.1 目标

  • 通过 tr 命令用于 替换删除 文件中的字符。

6.2 路径

  • 第一步: 实现 替换 效果
  • 第二步: 实现 删除 效果
  • 第三步: 完成 单词计数 案例

6.3 实现

第一步: 实现 替换效果

命令 英文 含义
命令结果 | tr 被替换的字符 新字符 translate 实现 替换效果
# 将 小写i 替换成  大写 I
# 把itheima的转换为大写
# 把 HELLO 转成 小写
# 将 小写i 替换成  大写 I
echo "itheima" | tr 'i' 'I'
# 把itheima的转换为大写
echo "itheima" |tr '[a-z]' '[A-Z]'
# 把 HELLO 转成 小写
echo "HELLO" |tr '[A-Z]' '[a-z]'

第二步: 实现删除效果

命令 英文 含义
命令结果 | tr -d 被删除的字符 delete 删除指定的字符
  • 需求: 删除abc1d4e5f中的数字
echo 'abc1d4e5f' | tr -d '[0-9]'

第三步: 单词计数

准备工作
[root@hadoop01 export]# cat words.txt 
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

1 将, 换成 换行

2 排序

3 去重

4 计数

# 统计每个单词出现的次数
[root@hadoop01 export]# cat words.txt | tr ',' '\n' | sort | uniq -c
      1 flume
      2 hadoop
      2 hello
      1 hive
      1 jerry
      1 kitty
      1 sqoop
      1 tom
      2 world
  • 准备工作
# 查看 /etc目录下 以.conf以结尾的文件的内容
cat -n /etc/*.conf
# 将命令结果 追加到 /export/v.txt 文件中
cat -n /etc/*.conf >> /export/v.txt

7 split

7.1 目标

  • 通过 split 命令将大文件切分成 若干小文件

7.2 路径

  • 第一步: 按 字节 将 大文件 切分成 若干小文件
  • 第二步: 按 行数 将 大文件 切分成 若干小文件

7.3 实现

第一步: 按 字节 将 大文件 切分成 若干小文件

命令 英文 含义
split -b 10k 文件 byte 将大文件切分成若干10KB的小文件

第二步: 按 行数 将 大文件 切分成 若干小文件

命令 英文 含义
split -l 1000 文件 lines 将大文件切分成若干1000行 的小文件

7.4 小结

  • 通过 split 选项 文件名 命令将大文件切分成 若干小文件
  • 准备工作1:
    vim score.txt
zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

8 awk

8.1 目标

  • 通过 awk 实现 模糊查询, 按需提取字段, 还可以进行 判断 和 简单的运算等.

8.2 步骤

  • 第一步: 模糊查询
  • 第二步: 指定分割符, 根据下标显示内容
  • 第三步: 指定输出字段的分割符
  • 第四步: 调用 awk 提供的函数
  • 第五步: 通过if语句判断$4是否及格
  • 第六步: 段内容 求和

8.3 实现

第一步: 搜索 zhangsan 和 lisi 的成绩

命令 含义
awk ‘/zhangsan|lisi/’ score.txt 模糊查询

第二步: 指定分割符, 根据下标显示内容

命令 含义
awk -F ‘,’ ‘{print $1, $2, $3}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

选项

选项 英文 含义
-F ',' field-separator 使用 指定字符 分割
$ + 数字 获取第几段内容
$0 获取 当前行 内容
NF field 表示当前行共有多少个字段
$NF 代表 最后一个字段
$(NF-1) 代表 倒数第二个字段
NR 代表 处理的是第几行

第三步: 指定分割符, 根据下标显示内容

命令 含义
awk -F ’ ’ ‘{OFS="==="}{print $1, $2, $3}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

选项

选项 英文 含义
OFS="字符" output field separator 向外输出时的段分割字符串

第四步: 调用 awk 提供的函数

命令 含义
awk -F ‘,’ ‘{print toupper($2)}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

常用函数如下:

函数名 含义 作用
toupper() upper 字符 转成 大写
tolower() lower 字符 转成小写
length() length 返回 字符长度

第五步: if语句 查询及格的学生信息

命令 含义
awk -F ‘,’ ‘{if($4>60) print $1, $4 }’ score.txt 如果及格,就显示 $1, $4
awk -F ‘,’ ‘{if($4>60) print $1, $4, “及格”; else print $1, $4, “不及格”}’ score.txt 显示 姓名, $4, 是否及格

选项

参数 含义
if($0 ~ “aa”) print $0 如果这一行包含 “aa”, 就打印这一行内容
if($1 ~ “aa”) print $0 如果**第一段 **包含 “aa”, 就打印这一行内容
if($1 == “lisi”) print $0 如果第一段 等于 “lisi”, 就打印这一行内容

第六步: 段内容 求学科平均分

命令 含义
awk ‘BEGIN{初始化操作}{每行都执行} END{结束时操作}’ 文件名 BEGIN{ 这里面放的是执行前的语句 }
{这里面放的是处理每一行时要执行的语句}
END {这里面放的是处理完所有的行后要执行的语句 }
awk -F ',' 'BEGIN{}{total=total+$4}END{print total, NR, (total/NR)}' score.txt
  • 准备工作
    vim 1.txt
aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt

9 sed

9.1 目标

  • 通过 sed 可以实现 过滤替换 的功能.

9.2 路径

  • 第一步: 实现 查询 功能
  • 第二步: 实现 删除 功能
  • 第三步: 实现 修改 功能
  • 第四步: 实现 替换 功能
  • 第五步: 对 原文件 进行操作
  • 第六步: 综合 练习

9.3 实现

第一步: 实现 查询 功能

命令 含义
sed 可选项 目标文件 对目标文件 进行 过滤查询替换

可选参数

可选项 英文 含义
p print 打印
$ 代表 最后一行
-n 仅显示处理后的结果
-e expression 根据表达式 进行处理
  • 练习1 列出 1.txt的 1~5行 的数据
sed -n -e '1,5p' 1.txt 
  • 练习2 列出01.txt的所有数据
sed -n -e '1,$p' 1.txt 
  • 练习3 列出01.txt的所有数据 且 显示行号
可选项 含义
= 打印当前行号
sed -n -e '1,$=' -e '1,$p' 1.txt 
简化版
cat -n 1.txt
cat -b 1.txt
nl 1.txt
  • 练习4: 查找01.txt中包含root行

答案:

sed -n -e '/root/p' 1.txt
  • 练习5 列出01.txt中包含root的内容,root不区分大小写,并显示行号
可选项 英文 含义
I ignore 忽略大小写

答案:

nl 1.txt | sed -n -e '/root/Ip'
nl 01.txt | grep -i root
cat -n 01.txt | grep -i root
  • 练习6 查找出1.txt中 字母r后面是多个t的行,并显示行号
可选项 英文 含义
-r regexp-extended 识别正则

答案:

nl 01.txt | sed -nr -e '/r+t/p'

或者

sed -nr -e '/r+t/p' -e '/r+t/=' 01.txt

第二步: 实现 删除 功能

  • 练习1 删除01.txt中前3行数据,并显示行号
可选项 英文 含义
d delete 删除指定内容

答案:

nl 01.txt | sed -e '1,3d'
  • 练习2 保留1.txt中前4行数据,并显示行号

答案:

nl 01.txt | sed -e '5,$d'
nl 1.txt | sed -n -e '1,4p'

第三步: 实现 修改 功能

  • 练习1: 在01.txt的第二行后添加aaaaa,并显示行号
参数 英文 含义
i insert 目标前面 插入内容
a append 目标后面 追加内容

答案:

nl 01.txt | sed -e '2a aaaaa'
  • 练习2 在1.txt的第1行前添加bbbbb,并显示行号

答案:

nl 01.txt | sed -e '1i bbbbb'

第四步: 实现 替换 功能

  • 练习1 把1.txt中的nologin替换成为huawei,并显示行号
英文 含义
s/oldString/newString/ replace 替换

答案:

nl 1.txt | sed -e 's/nologin/huawei/'
  • 练习2 把01.txt中的1,2行替换为aaa,并显示行号
选项 英文
2c 新字符串 replace 使用新字符串 替换 选中的行

答案:

nl passwd | sed -e '1,2c aaa'

第五步: 对 原文件 进行操作

  • 练习1 在01.txt中把nologin替换为 huawei
参数 英文 含义
-i in-place 替换原有文件内容

答案:

sed -i -e 's/nologin/huawei/' 01.txt
  • 练习2 在01.txt文件中第2、3行替换为aaaaaa

答案:

sed -i -e '2,3c aaa' 01.txt

注意:在进行操作之前,最好是对数据进行备份,放置操作失误,数据无法恢复!

  • 练习3 删除01.txt中前2行数据,并且删除原文件中的数据

答案:

sed -i -e '1,2d' 01.txt
nl passwd 查看数据

第六步: 综合 练习

  • 练习1 获取ip地址

答案:

ifconfig eth0 | grep "inet addr" | sed -e 's/^.*inet addr://' | sed -e 's/Bcast:.*$//' 
  • 练习2 从1.txt中提出数据,匹配出包含root的内容,再把nologin替换为itheima

答案:

nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'
或者
nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'
或者
nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只显示替换内容的行
  • 练习3 从1.txt中提出数据,删除前2行,并把nologin替换为itheima,并显示行号

答案:

nl 01.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'

1 挂载新的硬盘

1.1 目标

  • 虚拟机 增加一块 硬盘

1.2 路径

  • 第一步: 了解linux系统分区的原理
  • 第二步: 查看系统分区情况
  • 第三步: 虚拟机 增加 硬盘
  • 第四步: 分区
  • 第五步: 格式化
  • 第六步: 挂载
  • 第七步: 设置重启后 挂载不失效

1.3 实现

第一步: 了解linux系统分区的原理

  • 一个硬盘可以分成多个分区
  • 用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载

第二步: 查看系统分区挂载情况

命令 英文 含义
lsblk -f list block devices 查看所有设备的挂载情况
参数 英文 含义
-f file system 文件系统

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F5x3IfHz-1624685690449)(assets/1558957195965.png)]

  • lsblk 的记忆小窍门: 老师不离开 的首字母

第三步: 虚拟机 增加 硬盘

  • 模拟将买的硬盘插入到 服务器中
  1. 选中 目标虚拟机 右键 设置
  2. 选中 硬盘 点击 添加按钮
  3. 点击 下一步
  4. 选择 创建新虚拟磁盘
  5. 指定 磁盘大小为10G
  6. 完成
  7. 注意: 重启 才可以生效

第四步: 分区

命令 英文 含义
fdisk /dev/sdb partition 开始指定磁盘分区

分区命令可选项

选项 英文 含义
m menu 显示命令列表
n new 新增分区
p partition 显示磁盘分区
d delete 删除分区
w write and exit 写入 并 退出
操作如下:
  1. fdisk /dev/sdb 开始分区
  2. 输入 m , 进入 目录列表
  3. 输入 n , 新增分区
  4. 输入 p , 开始分区, 后面按回车
  5. 最后 输入 w, 保存 且 退出
  6. lsblk -f 查看是否成功

第五步: 格式化

命令 英文 含义
mkfs -t ext4 /dev/sdb1 build a Linux file system 格式化指定分区
参数 英文 含义
-t file system type 指定文件系统类型
操作如下
  1. mkfs -t ext4 /dev/sdb1 格式化指定分区
  2. lsblk -f 查看是否成功

第六步: 挂载

命令 含义
mount 设备名称 挂载目录 建立设备分区系统目录 的映射关系
umount 设备名称umount 挂载目录 取消设备分区系统目录 的映射关系
操作步骤
  1. 创建目录 mkdir -p /home/newdisk
  2. mount /dev/sdb1 /home/newdisk建立设备分区系统目录 的映射关系
  3. lsblk -f 查看是否挂载成功

  • 注意: 重启后 挂载失效

第七步: 设置重启不失效

操作步骤
  • 第一步: 将映射关系写到配置文件中 /etc/fstab
  • 第二步: mount -a 重新加载/etc/fstab 文件 ; mount 显示 /etc/fstab 文件内容
  • 第三步: 重启操作系统后, 测试 lsblk -f

1.4 小结

  • 用户不能直接访问 硬件设备
  • 需要将硬件设备 挂载到 系统目录上, 用户才可以让用户访问

1.5 挂载 持有系统镜像 光驱

1.5.1 目标

  • 因为 linux系统镜像中包含了常用的软件包, 就不用从网上下载了
  • 所以需要挂载 持有系统镜像 的 光驱

1.5.2 路径

  • 第一步: 将 linux系统镜像 放到光驱中
  • 第二步: 创建目录 /mnt/cdrom
  • 第三步: 通过挂载 建立 硬件 和 系统目录的关系
  • 第四步: 到镜像中 寻找按照包

1.5.3 实现

  1. 目标虚拟机, 右键 设置
  2. 选中 CD/DVD, 浏览 选中本地的 centOS 镜像

  3. 创建目录 mkdir -p /mnt/cdrom
  4. 挂载镜像文件 mount /dev/sr0 /mnt/cdrom
  5. 进入挂载目录, 找到 安照包
# 切换到安装包目录中
cd /mnt/cdrom/Packages/
# 搜索tree安装包
ls | grep tree

1.5.4 小结

  • 通过 挂载 系统光驱, 就可以 获取系统镜像中 软件包
  • 注意: 系统镜像目录中 不能有中文, 不能有空格

2 rpm 软件包管理器

2.1 目标

  • 通过 rpm命令 实现对软件 的安装、查询、卸载
  • RPM 是Red-Hat Package Manager(RPM软件包管理器)的缩写
  • 虽然 打上了 red-hat 的标记, 但是理念开放, 很多发行版都采用, 已经成为行业标准

2.2 路径

  • 第一步: rpm包 的 查询命令
  • 第二步: rpm包 的 卸载
  • 第三步: rpm包 的 安装

2.3 实现

第一步: rpm包 的 查询命令

选项 英文 含义
-q query 查询
-a all 所有
-i info 信息
-l list 显示所有相关文件
-f file 文件, 显示文件对应 rpm
  • 查询已安装的rpm列表
rpm -qa | grep XXX
rpm -qa | less
  • 查询软件包信息
rpm -qi 软件全包名
  • 查看一个rpm包中的文件安装到那里去了?
rpm -ql 软件全包名
  • 查看指定文件归属于那个软件包
rpm -qf 文件的全路径

第二步: rpm包 的 卸载

命令 英文 含义
rpm -e 软件包名称 erase 清除 卸载rpm软件包
rpm -e --nodeps 软件包名称 Don’t check dependencies 卸载前 跳过 依赖检查

第三步: rpm包 的 安装

命令 含义
rpm -ivh rpm包的全路径 安装 rpm 包
参数 英文 含义
-i install 安装
-v verbose 打印提示信息
-h hase 显示安装进度

2.4 小结

# 1 查询
rpm -qa | grep rpm包
# 2 卸载
rpm -e rpm全包名
rpm -e --nodeps rpm全包名
# 3 安装
rpm -ivh rpm包的全路径 

3 yum

3.1 目标

  • Yum(全称为 Yellow dog Updater, Modified本质上 也是一个 软件包管理器
  • 特点: 基于 RPM 包管理,能够从指定的服务器 自动下载、 自动安装、 自动处理依赖性关系

3.2 路径

  • 第一步: yum的原理
  • 第二步: 常用指令 (重点)
  • 第三步: 制作 本地 yum
  • 第四步: 制作 局域网 yum

3.3 实现

3.3.1 yum的原理

3.3.2 常用命令(重点)

注意: 必须联网

命令 含义
yum list | grep 需要的软件名 查询服务器是否有需要安装的软件
yum -y install 需要的软件包 下载安装
yum -y remove 需要卸载的软件包 卸载
yum repolist 列出设定yum源信息
yum clean all 清除yum缓存信息

3.3.3 制作本地yum源

  • 原因: 因为大数据集群 为了安全, 不让连接外网
  • 原理

  • 实现
  • 第一步 挂载 持有系统镜像的 光驱, 请参考 1.5 小结
  • 第二步: 备份默认yum源仓库
# 切换到保存yum信息的目录
cd /etc/yum.repos.d/
# 备份所有的配置文件
rename .repo .repo.bak *    
# 查看是否备份成功
ll
  • 第三步: 新增本地yum源 vim CentOS-Local.repo
vi CentOS-Local.repo
  • 编辑内容如下
[base]
name=CentOS-Local
baseurl=file:///mnt/cdrom
gpgcheck=0
enabled=1 
  • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0RnaPeNs-1624685690462)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571065658421.png)]
  • 注意: 必须以 .repo 结尾
  • 第五步: 断网 测试是否可以安装
# 查看 yum 源仓库
yum repolist
# 清空缓存
yum clean all
# 卸载 tree 软件
yum -y remove tree
# 重新安装 tree 观察是否成功
yum -y install tree

3.3.4 制作局域网yum源

  • 原理

3.3.5.1 安装httpd软件
  • 安装httpd:
yum -y install httpd
  • 启动 httpd 服务
service httpd start
  • 测试
http://192.168.100.201:80
  • 问题: 发现无法访问?
  • 原因: 因为 linux 的防火墙 禁止他人 访问自己的80端口
  • 解决: 通知 防火墙放行
  • 关闭防火墙
  • 原因: 为了方便 内网中集群间机器的相互操作, 通常会关闭防火墙
  • 关闭防火墙
service iptables stop
  • 重启之后不要开防火墙
chkconfig iptables off
3.3.4.3 制作局域网 yum源
# 拷贝yum源到httpd服务的默认工作路径下
cp -r /mnt/cdrom/* /var/www/html/CentOS-6.9
  • 1) 备份默认yum源
cd /etc/yum.repos.d/
mv CentOS-Local.repo CentOS-Local.repo.bak
  • 2) 制作本地yum源
cd /etc/yum.repos.d/
vi CentOS-Local.repo
[base]
name=CentOS-Local
baseurl=http://192.168.100.201/CentOS-6.9/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
  • 第四步: 测试是否成功(在其他节点上测试)
yum clean all
yum repolist
yum install -y tree

3.4 小结

# 安装软件
yum -y install 软件包
卸载软件
yum -y remove 软件包

4 安装jdk

4.1 路径

  • 第一步: 卸载linux系统 提供的jdk
  • 第二步: 上传按照包到 /export/soft , 解压到 /export/install
  • 第三步: 将 jdk路径 放到 环境变量中
  • 第四步: 重新加载 环境变量的配置文件
  • 第五步: 测试是否安装成功

4.2 实现

第一步: 卸载linux系统 提供的jdk

# 查询已安装的jdk
rpm -qa | grep java
# 卸载
rpm -e --nodeps 软件包名

第二步: 上传按照包到 /export/soft , 解压到 /export/install

# 1 创建保存软件包目录
mkdir -p /export/soft/
cd /export/soft/ && ll
# 2 上传软件包
# 3 创建安装软件目录 
mkdir -p /export/install
# 4 将压缩包解压到指定目录
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /export/install
cd /export/install && ll

第三步: 将 jdk路径 放到 环境变量中

  • 目的: 为了能够在任何目录下都可以使用 javacjava
JAVA_HOME=/export/install/jdk1.8.0_141
PATH=/export/install/jdk1.8.0_141/bin:$PATH
export JAVA_HOME PATH

第四步: 重新加载 环境变量的配置文件

  • 为了生效, 要么重启电脑, 要么 重新加载配置文件
source /etc/profile
# 测试
java -version

第五步: 测试是否安装成功

需求: 编写一个简单的Hello.java, 输出 Hello World!

vim Hello.java

[root@hadoop01 export]# cat Hello.java
public class Hello{
        public static void main(String[] args) {
                System.out.println("Hello java!");
        }
}

使用 javac Hello.java 编译

执行 java Hello

5 安装tomcat

5.1 目标

  • 实际工作中我们可能需要发布web项目到tomcat中

5.2 路径

  • 第一步: 将安装包上传到 /export/soft , 解压到 /export/install
  • 第二步: 启动tomcat 且 查看日志
  • 第三步: 上传项目 测试

5.3 实现

  • 第一步: 将安装包上传到 /export/soft , 解压到 /export/install
# 切换到保存软件的目录
cd /export/soft
# 解压到 /export/install 安装目录
tar -zxvf apache-tomcat-7.0.82.tar.gz -C /export/install/
  • 第二步: 启动tomcat 且 查看日志
# 切换启动命令的目录
cd /export/install/apache-tomcat-7.0.82/bin
# 启动 且 查看日志
./startup.sh && tail -100f ../logs/catalina.out
  • 第三步: 测试
http://192.168.100.201:8080/
  • 将需要发布的项目 放到 tomcat目录/webapps 目录下
  • 提示: 防火墙要么关闭, 要么开放tomcat指定的端口,否则无法访问

6 安装mysql

6.1 yum安装原理:

  • yum安装是通过执行yum命令,自动分析依赖关系, 自动下载, 自动安装

6.2 yum安装优点:

  • 安装简单、快速

6.3 缺点:

  • 由于不同的yum仓库只有特定的几个版本,所以可选的版本较少。

6.4 yum安装实战

  • 下面看看如何在CentOS7系统上安装 MySQL5.6.44

1 查询系统自带的mysql

[root@hadoop01 yum.repos.d]# rpm -qa | grep mysql
mysql-libs-5.1.73-8.el6_8.x86_64

2 安装mysql

yum install -y mysql-server

3 启动服务

service mysqld start

4 修改密码

# 设置密码
/usr/bin/mysqladmin -u root password '123456'
# 进入mysql
mysql -uroot -p123456

5 问题1: 解决中文乱码

由于MySQL编码原因会导致数据库出现乱码。

解决办法:

修改MySQL数据库字符编码为UTF-8,UTF-8包含全世界所有国家需要用到的字符,是国际编码。

具体操作:

1 进入MySQL控制台
# 进入mysql
mysql -uroot -p123456
# 查看编码集 发现不是utf8
show variables like 'character_set_%';

2 修改mysql配置文件
# 清空 mysql 配置文件内容
[root@Hadoop-NN-01 ~]# >/etc/my.cnf
# 修改mysql 软件的编码集
[root@Hadoop-NN-01 ~]# vi /etc/my.cnf

修改内容如下:

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8
3 重启MySQL服务
[root@Hadoop-NN-01 ~]# service mysqld restart
#查看MySQL字符集
show variables like 'character_set_%';     

MySQL数据库字符集编码修改完成!

6 问题2: 默认情况下 mysql服务端不允许客户端远程访问

  • 问题: 使用客户端 远程 连接mysql报错?

  • 原因: 因为 用户 没有 远程访问的权限
  • 解决: 授权
mysql> use mysql;
mysql>select host, user ,password  from user;
# 给root授权:既可以本地访问, 也可以远程访问
mysql>  grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
# 刷新权限(可选)
mysql>  flush privileges;
mysql>  select host, user ,password  from user;

连接之前需要关闭防火墙

7 集群(三台)

7.1 新增linux系统

第一步: 克隆虚拟机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OgnWkwzo-1624685690471)(assets/1559030329561.png)]

第二步: 更改新增系统的mac地址

vim /etc/udev/rules.d/70-persistent-net.rules 

第三步: 更改网卡信息 (setup)

vim /etc/sysconfig/network-scripts/ifcfg-eth0 

第四步: 重启系统生效

reboot

7.2 三台机器 关闭防火墙

  • 内网环境 安全性比较高, 防火墙开启会影响效率, 所以 关闭防火墙

三台机器执行以下命令(root用户来执行)

# 查看防火墙的状态
service iptables status
# 启动防火墙服务
service iptables start
# 重启 防火墙 服务
service iptables restart
# 停止 防火墙 服务
service iptables stop
# 彻底关闭防火墙
chkconfig iptables off

7.3 三台机器关闭selinux

vim /etc/selinux/config

  • 注意: 重启才会生效

7.4 三台机器更改主机名

vim /etc/sysconfig/network

  • 重启才会生效

7.5 三台机器 给ip地址起别名

7.5.1 给ip地址起别名

  • vim /etc/hosts
192.168.100.201 hadoop01
192.168.100.202 hadoop02
192.168.100.203 hadoop03

7.5.2 测试

ping 192.168.100.202
ping hadoop02

7.6 scp 远程文件拷贝

7.6.1 是什么?

  • scp是 remote file copy program 的缩写, scp是远程文件拷贝命令。

7.6.2 从本地拷贝到远程机器上

  • 准备工作
# 创建目录
mkdir -p /export/aaa/bbb/ccc
# 创建文件
touch /export/aaa/01.txt /export/aaa/02.txt
# 显示
tree /export/aaa
1 文件
  • 语法格式
# 拷贝文件
scp local_file remote_username@remote_ip:remote_folder
  • 需求: 将本地 01.txt 文件 复制到 192.168.100.202 机器的 /export目录下
scp  /export/aaa/01.txt   root@192.168.100.202:/export
scp  /export/aaa/02.txt   root@hadoop02:/export
scp  /export/aaa/02.txt   hadoop02:/export
2 文件夹
  • 语法格式
# 拷贝目录
scp -r local_folder remote_username@remote_ip:remote_folder
  • 需求: 将本地 aaa 目录 复制到 192.168.100.202 机器的 /export 目录下

scp -r /export/aaa root@192.168.100.202:/export

scp -r /export/aaa root@hadoop02:/export

scp -r /export/aaa hadoop02:/export

7.6.3 将远程机器内容复制到本地机器上

  • 准备工作
# 创建目录
mkdir -p /export/a1/b1/c1
# 创建文件
touch /export/a1/111.txt
touch /export/a1/222.txt
# 显示内容
tree /export/a1
1 文件
  • 语法格式
scp remote_username@remote_ip:remote_file local_folder
  • 练习3: 将 hadoop02的 111.txt 文件 复制到 hadoop01的 export目录下

scp root@192.168.100.202:/export/a1/111.txt /export

scp root@hadoop02:/export/a1/222.txt /export

scp hadoop02:/export/a1/222.txt /export

2 目录
  • 语法格式
scp -r remote_username@remote_ip:remote_folder local_folder
  • 练习4: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下

scp -r root@192.168.100.202:/export/a1 /export

scp -r hadoop02:/export/a1 /export

7.7 ssh远程登录

7.7.1 目标

  • 专门用于 远程登录

7.7.2 路径

  • 方式一: 使用 ssh 基于密码的远程登录(了解)
  • 方式二: 使用 ssh 基于密匙 实现 免密码登录(掌握)

7.7.3 实现

方式一 使用 ssh 基于密码的远程登录
命令 含义
ssh ip地址 远程登录到指定服务器上(必须知道正确的密码)
  • 在第三台机器上登录到第二台机器上
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DrcoW4V2-1624685690479)(assets/1559302684534.png)]
  • 细节: 首次远程登录会询问 yes/no , 以后可能就不会了
方式二: 使用 ssh 基于密匙 实现 免密码登录(掌握)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wbswp140-1624685690479)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571066755061.png)]

第一步: ssh-keygen -t rsa  在hadoop1和hadoop2和hadoop3上面都要执行,产生公钥和私钥
    第二步:ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去
    第三步:
           ssh-copy-id hadoop02
           ssh-copy-id hadoop03

注意1: 第三步需要在/root/.ssh/目录下.

7.8 crontab 任务调度

7.8.1 原理

7.8.2 概述

  • crontab 进行 定时任务的设置
  • 基本语法
crontab [选项]
  • 常用选项
选项 英文 含义
-e edit 编辑crontab定时任务
-l displayed 显示crontab任务
-r remove 删除当前用户所有的crontab任务

7.8.3 案例: 每隔1分钟将时间打印到 /export/文件

方案一: 直接式
  • 第一步: date >> /export/mydate1.txt 测试命令
  • 第二步: 通过 crontab -e 进入 定时任务
  • 第三步: 编辑定时任务命令
*/1 * * * *  date >> /export/mydate1.txt
  • 第四步: 检测是否成功
cd /export/ && tail -f mydate1.txt
方式二: 脚本式
  • 第一步: 书写测试命令
echo `date +"%Y-%m-%d %H:%M:%S"` >> mydate2.txt
  • 第二步: 将命令放到脚本中 vim /export/task.sh
echo `date +"%Y-%m-%d %H:%M:%S"` >> /export/mydate2.txt
  • 第三步: 增加可执行权限
chmod +x /export/task.sh
  • 第四步: 执行脚本
/export/task.sh 
  • 第五步: 进入 定时任务 crontab -e
*/1 * * * *  date >> /export/mydate1.txt
*/1 * * * *  /export/task.sh
  • 第六步: 测试 观察结果
tail -f /export/mydate2.txt 

7.8.4 参数细节说明(学会查)

5个占位符的说明

含义 范围
第一个 * 一小时当中的第几分钟 0~59
第二个 * 一天当中的第几小时 0~23
第三个 * 一个月当中的第几天 1~31
第四个 * 一年当中的第几月 1~12
第五个 * 一周当中的星期几 0~7(0和7都代表星期日)

例子

命令 含义
* * * * * command 实例1:每1分钟执行一次command
3,15 * * * * command 实例2: 每小时的第3和第15分钟执行
3,15 8-11 * * * command 实例3: 在上午8点到11点的第3和第15分钟执行
3,15 8-11 */2 * * command 实例4: 每隔两天的上午8点到11点的第3和第15分钟执行
3,15 8-11 * * 1 command 实例5: 每个星期一的上午8点到11点的第3和第15分钟执行
30 21 * * * /etc/init.d/smb restart 实例6: 每晚的21:30重启smb
45 4 1,10,22 * * /etc/init.d/smb restart 实例7: 每月1、10、22日的4 : 45重启smb
10 1 * * 6,0 /etc/init.d/smb restart 实例8:每周六、周日的1 : 10重启smb
0,30 18-23 * * * /etc/init.d/smb restart 实例9:每天18 : 00至23 : 00之间每隔30分钟重启smb

7.9 三台机器时钟同步

7.9.1 同步互联网时间

命令 英文 含义
ntpdate 互联网时间服务器地址; Network Time Protocol 同步时间
  • 阿里云时钟同步服务器
ntpdate ntp4.aliyun.com
  • 三台机器定时任务 : 直接与阿里云服务器进行时钟同步
crontab -e
*/1 * * * *  /usr/sbin/ntpdate ntp4.aliyun.com;
  • 准备工作: 删除三台服务器定时任务
crontab -r

7.9.2 跟内网某台机器同步时间

  • 为了安全, 大数据集群的节点不允许连接外网

  • 以192.168.100.201 这台服务器的时间为准进行时钟同步
第一步:确定是否安装了ntpd的服务
rpm -qa  | grep  ntpd

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z3YZJYn9-1624685690482)(assets/1559323516074.png)]

  • 如果 没有安装,可以进行在线安装
yum -y install ntpd
  • 查看ntpd的状态
service ntpd status
  • 启动ntpd的服务
service ntpd  start
  • 设置ntpd的服务开机启动
chkconfig ntpd on
第二步:编辑 /etc/ntp.conf
  • 编辑第一台机器的 /etc/ntp.conf
  • vim /etc/ntp.conf
  • 在文件中添加如下内容, 配置我们的时钟广播地址
#允许192.168.100.0 网段中的服务器访问本ntp服务器进行时间同步
restrict 192.168.100.0  mask  255.255.255.0 nomodify  notrap  
  • 注释一下四行内容
#server0.centos.pool.ntp.org
#server1.centos.pool.ntp.org
#server2.centos.pool.ntp.org
#server3.centos.pool.ntp.org
  • 去掉以下内容的注释,如果没有这两行注释,那就自己添加上
#如果上面的服务器都无法同步时间,就和本地系统时间同步。127.127.1.0在这里是一个IP地址,不是网段。
server  127.127.1.0  #  localclock
#127.127.1.0 为第10层。ntp 和127.127.1.0同步完后,就变成了11层。  ntp是层次阶级的。
fudge 127.127.1.0  stratum  10
  • 配置以下内容,保证BIOS与系统时间同步
vim /etc/sysconfig/ntpd
  • 添加一行内容
SYNC_HWLOCK=yes  
  • 重启ntpd 服务
service ntpd  restart
  • 注意: 如果更改ntp时钟服务器的时间,也需要重启 ntpd 服务
第三步:另外两台机器与第一台机器时间同步
  • 先手动同步时间
ntpdate 192.168.100.201
  • 再使用 定时任务 同步时间
    crontab -e
*/1 * * * * /usr/sbin/ntpdate 192.168.100.201
  • 另外两台机器与192.168.52.201进行时钟同步
  • 注意: 报错
  • 原因: ntp服务已运行
  • 解决办法: 断开再连

练习路径:

1 设置防火墙

2 一台机器上: rpm 安装 jdk tomcat mysql

3 搭建服务器集群(下午)

4 挂载 硬盘 和 光驱

5 yum源: 网络yum源 本地yum源 局域网yum源

总结

以上便是大数据开发工程师基本功修炼之史上最全Linux学习笔记 ,喜欢的小伙伴欢迎一键三连!!!


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
Shell Linux
Linux shell编程学习笔记30:打造彩色的选项菜单
Linux shell编程学习笔记30:打造彩色的选项菜单
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
Linux API 开发工具
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
ijkplayer是由B站研发的移动端播放器,基于FFmpeg 3.4,支持Android和iOS。其源码托管于GitHub,截至2024年9月15日,获得了3.24万星标和0.81万分支,尽管已停止更新6年。本文档介绍了如何在Linux环境下编译ijkplayer的so库,以便在较新的开发环境中使用。首先需安装编译工具并调整/tmp分区大小,接着下载并安装Android SDK和NDK,最后下载ijkplayer源码并编译。详细步骤包括环境准备、工具安装及库编译等。更多FFmpeg开发知识可参考相关书籍。
110 0
FFmpeg开发笔记(五十九)Linux编译ijkplayer的Android平台so库
|
2月前
|
并行计算 Ubuntu Linux
Ubuntu学习笔记(三):Linux下操作指令大全
Ubuntu学习笔记,介绍了Linux操作系统中常用的命令和操作,如文件管理、系统信息查看、软件安装等。
47 3
|
3月前
|
Shell Linux
Linux shell编程学习笔记82:w命令——一览无余
Linux shell编程学习笔记82:w命令——一览无余
|
3月前
|
存储 Linux 开发工具
如何进行Linux内核开发【ChatGPT】
如何进行Linux内核开发【ChatGPT】
|
4月前
|
Java Linux API
Linux设备驱动开发详解2
Linux设备驱动开发详解
54 6
|
4月前
|
消息中间件 算法 Unix
Linux设备驱动开发详解1
Linux设备驱动开发详解
58 5
|
4月前
|
编解码 安全 Linux
基于arm64架构国产操作系统|Linux下的RTMP|RTSP低延时直播播放器开发探究
这段内容讲述了国产操作系统背景下,大牛直播SDK针对国产操作系统与Linux平台发布的RTMP/RTSP直播播放SDK。此SDK支持arm64架构,基于X协议输出视频,采用PulseAudio和Alsa Lib处理音频,具备实时静音、快照、缓冲时间设定等功能,并支持H.265编码格式。此外,提供了示例代码展示如何实现多实例播放器的创建与管理,包括窗口布局调整、事件监听、视频分辨率变化和实时快照回调等关键功能。这一技术实现有助于提高直播服务的稳定性和响应速度,适应国产操作系统在各行业中的应用需求。
141 3
下一篇
DataWorks