【大数据学习篇1】linux常用命令

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 【大数据学习篇1】linux常用命令

查看目录下有什么文件信息

//list查看当前目录下有什么文件


ls //list -list 通过详细内容形式查看目录下的文件内容 ls -l 或 ll //查看指定目录下文件名字信息 ls 目录 //以详细列表形式查看指定目录下文件名字信息 ls -l 目录 //list all 查看全部文件,包括隐藏文件 ls -a //list list all 以详细列表形式查看全部文件,包括隐藏文件 ls -al //查看目录下文件名字的索引号码 ls -i


目录切换

//切换目录


cd 目录名字 //向上级目录切换 cd .. //快速切换回自己的家目录 cd ~


查看当前操作位置

pwd


查看操作者信息(是谁在操作系统)

whoami


不同用户间的切换

//切换为root用户


su -

//效果同上 su - root //向普通用户切换 su 普通用户名称 //当前用户退回到之前用户 exit


su多次使用,用户会"累加",建议"su"和"exit"匹配使用 test--->root--->test--->root--->test


图形模式与命令模式进行切换

//图形向命令模式切换


init 3 //命令向图形模式切换 init 5


查看指令对应的可以执行程序文件位置

which 指令


目录操作

1)创建目录


//创建目录


mkdir newdir //递归方式创建多级目录 mkdir -p newdir/newdir/newdir

//newdir新目录多于1个层次(2/3/4等)就设置-p参数,如果就一个新的目录则无需-p参数 mkdir dir/newdir mkdir dir/dir/newdir mkdir -p dir/newdir/newdir


2) 移动(改名字)目录 (目录/文件 都可以操作)


//dir1移动到dir2目录下,并给改名字为"原名"


mv dir1 dir2

//dir1移动到dir2目录下,并给改名字为newdir mv dir1 dir2/newdir

//dir2移动到dir4目录下,并给改名字为"原名" mv dir1/dir2 dir3/dir4

//dir2移动到dir4目录下,并给改名字为 newdir mv dir1/dir2 dir3/dir4/newdir

//dir2移动到当前目录下,并给改名字为"原名" mv dir1/dir2 ./

//dir2移动到当前目录下,并给改名字为newdir mv dir1/dir2 ./newdir


3) 复制(改名字)目录 (目录/文件 都可以操作)


//复制普通文件 //file1被复制到dir1目录下一份,并给改名字为"原"


cp file1 dir1

//file1被复制到dir1目录下一份,并给改名字为newfile cp file1 dir1/newfile


//复制目录 -r参数要求 //递归方式拷贝目录 //dir1被复制到dir2目录下一份,并给改名字为"原名"


cp -r dir1 dir2

//dir1被复制到dir2目录下一份,并给改名字为newdir cp -r dir1 dir2/newdir

//dir3被复制到dir5目录下一份,并给改名字为"原名" cp -r dir1/dir2/dir3 dir4/dir5


4) 删除 remove


//普通文件删除


rm filename

//删除目录[无视层次]需要-r参数 rm -r dir

//递归强制删除文件 //避免删除隐藏文件的提示 rm -rf 文件

//递归强制方式删除系统里边的全部内容 rm -rf /


文件操作

1) 查看文件内容


//在终端显示文件全部内容


cat filename

//通过"敲回车"方式从第一行逐行查看文件内容 //不支持回看 //q键 退出查看 more filename

//"上下左右"键方式查看文件各个部分内容 //支持回看,q键退出 less filename

//查看文件"前n行"内容 head -n filename

//查看文件“末尾n行”内容 tail -n filename

//计算文件行数 wc filename


2) 创建文件


touch filename

touch dir/filename


3) 追加内容(文件不存在会“自动”创建)


//给文件"覆盖写"方式追加内容


echo 内容 > filename

//给文件纯追加内容 echo 内容 >> filename


用户操作

user配置文件/etc/passwd 1) 创建 add


//创建用户会同时创建同名组


useradd username

//创建用户的同时设置组别 useradd -g 组编号 username

//创建用户同时,指定组别、用户编号、家目录 useradd -g 组编号 -u 用户编号 -d 家目录 username


2) 修改 modify


//修改组别是常见操作


usermod -g gid username

//修改组别、用户编号、家目录、名字 usermod -g gid -u uid -d 家目录 -l newname username


注意:家目录修改后需要手动创建,不同于创建用户家目录设置  创建用户时设置家目录,该目录会自动创建  修改用户家目录时,该目录不会自动创建(需要手动创建)


3) 删除 delete


//删除用户(删除passwd文件对应信息),此时其家目录需要手动删除


userdel username


//删除用户的同时也删除其"家目录"


userdel -r username


组别操作

group配置文件/etc/group 1) 创建 add


groupadd groupname


2) 修改 modify


groupmod -g gid -n newname groupname


3) 删除 delete


//注意:只有空组(内部没有用户信息)才允许删除


groupdel 组名


vi编辑器使用

1) 命令模式-->编辑模式切换(插入/Insert)


a "光标" 向后移动一位 i "光标" 和 "内容" 没有变化 o "新"起一个空白行 s "删除"光标所在字符


2) 尾行模式作用


:q quit退出编辑器 :wq write quit保存并退出 :w write保存 :q! 强制退出(不要保存) :w! 强制写保存 :wq! 强制保存退出


//给编辑器设置行号 :set number 或 set nu

//取消行号设置 :set nonumber 或 set nonu :数字 光标跳转到数字所在行 //内容查找,小写n(next)下一个,大写N(next)上一个 :/内容/ 或 /内容

//内容替换 "cont1"被替换为"cont2" //把光标所在行的"第一个"cont1替换为cont2 :s/cont1/cont2/

//把光标"所在行"的全部cont1替换为cont2 :s/cont1/cont2/g

//把"整个文档"中的全部cont1替换为cont2 :%s/cont1/cont2/g


3) 命令模式操作  (1) 光标移动


a. 字符级 上(k) 下(j) 左(h) 右(l) 键 b. 单词级 w word下个单词首字母 e end下(本)个单词尾字母 b before上(本)个单词首字母 c. 行级 $ 行尾 0 行首 d. 段落级(两部分内容中间有空行,彼此成为段落) { 上(本)个段落首部 } 下(本)个段落尾部 e. 屏幕级(不给翻屏) H 屏幕首部 L 屏幕尾部 f. 文档级 G 文档尾行 1G 文档第一行 nG 文档第n行


(2) 内容删除


dd 删除光标所在行 n+dd 包括当前行在内向下删除n行内容 x 字符级删除,删除光标所在字符 cw 光标所在字符删除至单词结尾(是删除单词的便捷方式) 同时会进入编辑模式


(3) 内容复制


yy 复制光标所在行 n+yy 包括当前行在内向下复制n行内容 p 对复制(删除)好的内容进行粘贴操作


(4) 便捷操作


u undo撤销,从文件打开后的所有操作都可以撤销 r 对单词字符进行替换 . 重复执行"最近"的一条指令 J 合并上下两行


权限设置

1) "字母相对方式"设置权限


权限: r读 w写 x执行 用户: u主人 g同组 o其他组 chmod u+/-rwx, g+/-rwx, o+/-rwx 文件 不同用户通过",逗号"分隔 在同一个用户里边,+/-只能用"一个" "rwx"在同一个用户里边可以设置一个或多个 "ugo" 每次权限操作可以设置一个或多个用户


//主人增加读、写


chmod u+rw filename

//同组删除读、执行 chmod g-rx filename

//主人删除写,同组增加执行 chmod u-w,g+x filename

//其他组用户"增加写、删除执行" chmod o+w,o-x filename


2) "数字绝对方式" 设置权限


读:4 写:2 执行:1 权限类型: 0: 没有权限 1: 执行 2: 写 3: 写、执行 4: 读 5: 读、执行 6: 读、写 7: 读、写、执行


//ABC分别代表主人、同组、其他组用户权限


chmod ABC filename

//主人读、写、执行,同组读、写,其他读 chmod 764 filename

//满贯权限 chmod 777 filename

//所有用户没有任何权限 chmod 000 filename


字母和数字方式取舍: 权限修改的比较"少",就使用字母方式 权限修改的比较"多",就使用数字方式


在文件中查找指定内容

grep 内容 (绝对/相对路径)目标文件


//在passwd文件中查找sbin字样,会把sbin所在行的内容都输出


grep sbin /etc/passwd


查看文件占据磁盘空间大小

du -h 文件/目录


//以k M的形式查看文件占据磁盘空间大小


du -h 文件名称


文件查找

find 现值查找目录 选项 选项值 选项 选项值.... 具体选项: (1) name 根据文件名字查找指定的文件


find 目录 -name 完整文件名称 //"递归遍历"系统全部目录查找名字等于passwd的文件


find / -name passwd[完整名称]

//递归遍历/etc及内部所有目录查找名字等于passwd的文件 find /etc -name passwd[完整名称]

//模糊查找文件名字以an开始的 find 目录 -name "an*"[部分名称]


(2) 对查找的目录层次进行限制  -maxdepth 限制查找的最"深"层次  -mindepth 限制查找的最"浅"层次


//在3到4个层次的目录里边定位passwd文件


find / -name passwd -mindepth 3 -maxdepth 4


(3) 根据文件大小进行查找  size 单位


//在当前目录下查找大小[等于]50个字节的文件


find ./ -size 50c


单位: 数量 单位 实际大小 100 -------> 512字节 【100512字节】 50c -------> 字节 【50字节】 50k -------> 千字节 【501024字节】 50M ------> 兆字节 【5010241024字节】


//在当前目录下查找大小[大于]50个字节的文件


find ./ -size +50c

//在当前目录下查找大小[小于]50个字节的文件 find ./ -size -50c


开关机指令

重启


reboot


关机


poweroff


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8天前
|
监控 Linux
如何检查 Linux 内存使用量是否耗尽?这 5 个命令堪称绝了!
本文介绍了在Linux系统中检查内存使用情况的5个常用命令:`free`、`top`、`vmstat`、`pidstat` 和 `/proc/meminfo` 文件,帮助用户准确监控内存状态,确保系统稳定运行。
67 6
|
9天前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
34 3
|
9天前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
26 2
|
3天前
|
运维 监控 网络协议
运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面
本文介绍了运维工程师日常工作中最常用的20个Linux命令,涵盖文件操作、目录管理、权限设置、系统监控等方面,旨在帮助读者提高工作效率。从基本的文件查看与编辑,到高级的网络配置与安全管理,这些命令是运维工作中的必备工具。
20 3
|
9天前
|
安全 网络协议 Linux
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。
本文详细介绍了 Linux 系统中 ping 命令的使用方法和技巧,涵盖基本用法、高级用法、实际应用案例及注意事项。通过掌握 ping 命令,读者可以轻松测试网络连通性、诊断网络问题并提升网络管理能力。
31 3
|
12天前
|
Linux
在 Linux 系统中,`find` 命令是一个强大的文件查找工具
在 Linux 系统中,`find` 命令是一个强大的文件查找工具。本文详细介绍了 `find` 命令的基本语法、常用选项和具体应用示例,帮助用户快速掌握如何根据文件名、类型、大小、修改时间等条件查找文件,并展示了如何结合逻辑运算符、正则表达式和排除特定目录等高级用法。
41 6
|
12天前
|
监控 Linux 开发者
如何在 Linux 中优雅的使用 head 命令,用来看日志简直溜的不行
`head` 命令是 Linux 系统中一个非常实用的工具,用于快速查看文件的开头部分内容。本文介绍了 `head` 命令的基本用法、高级用法、实际应用案例及注意事项,帮助用户高效处理文件和日志,提升工作效率。
23 7
|
13天前
|
监控 Linux Perl
Linux 命令小技巧:显示文件指定行的内容
在 Linux 系统中,处理文本文件是一项常见任务。本文介绍了如何使用 head、tail、sed 和 awk 等命令快速显示文件中的指定行内容,帮助你高效处理文本文件。通过实际应用场景和案例分析,展示了这些命令在代码审查、日志分析和文本处理中的具体用途。同时,还提供了注意事项和技巧,帮助你更好地掌握这些命令。
28 4
|
12天前
|
缓存 网络协议 Linux
Linux ip命令常用操作
Linux的 `ip`命令是一个强大且灵活的网络管理工具,能够执行从基本的网络接口配置到高级的路由和VLAN管理等多种操作。通过熟练掌握这些常用操作,用户可以更加高效地管理和配置Linux系统的网络环境。无论是在日常管理还是故障排除中,`ip`命令都是必不可少的工具。
13 2
|
12天前
|
缓存 运维 监控
【运维必备知识】Linux系统平均负载与top、uptime命令详解
系统平均负载是衡量Linux服务器性能的关键指标之一。通过使用 `top`和 `uptime`命令,可以实时监控系统的负载情况,帮助运维人员及时发现并解决潜在问题。理解这些工具的输出和意义是确保系统稳定运行的基础。希望本文对Linux系统平均负载及相关命令的详细解析能帮助您更好地进行系统运维和性能优化。
35 3