大数据基础之常用Linux命令

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: cd命令ls命令mkdir和rmdir命令cp命令mv命令rm命令cat命令tac命令more命令head命令tail命令touch命令chown命令find命令tar命令grep命令s...

大数据实验环境一般为Linux,熟悉Linux操作非常有必要,总结常用Linux命令如下。

1.cd命令

进入文件夹:

cd dirname

进入多级文件夹:

cd /usr/local/Cellar

返回上层目录:

cd ../

返回上层的上层:

cd ../../

回到主文件夹

cd

2.ls命令

ls命令用于列出当前文件和目录,加上参数之后可以做更多的事情。
不带参数运行ls会列出文件和目录

ls

使用-l参数切换到长清单模式,会显示当前目录内容的长列表:

ls  -l

加上-lh参数显示文件大小:

ls -lh

加上-a参数显示隐藏文件:

ls -a

如果只想列出目录:

ls -d */

递归列出所有子目录:

ls -R

通过修改时间列出:

ls -lt

列出子目录:

ls ~

列出父目录:

ls ../
ls ../../

增加/标记目录

ls -p

3.mkdir和rmdir命令

mkdir用于创建文件夹,创建文件夹时应确保与它所在的目录下的没有同名文件夹。

mkdir A

一次创建多个文件夹:

mkdir B C D

加上-p参数可以创建带有子目录的文件夹:

mkdir -p dira/dirb/dirc

删除目录:

rmdir abc

递归删除带有子目录的文件夹:

rmdir -p dira/dirb/dirc

4.cp命令

cp命令是Linux的拷贝文件命令.
拷贝A目录下的a.txt到B目录:

cp A/a.txt B/

如果B目录下已存在a.txt,拷贝前询问是否覆盖,加上-i参数:

cp -i A/a.txt B/
overwrite B/a.txt? (y/n [n])

拷贝整个文件夹:

cp -R A B

拷贝前询问是否覆盖:

cp -R -i A B

5.mv命令

mv命令常用对文件或目录进行移动、文件重命名或者备份,mv是move的缩写。
把A目录下的a.txt移动到B文件夹下:

mv A/a.txt B

如果B目录下已经存在同名文件,询问是否备份:

 mv -i A/a.txt B
 overwrite B/a.txt? (y/n [n]) 

重命名操作,把a.txt改名为a1.txt:

mv A/a.txt A/a1.txt

把A目录下的所有文件移到B:

mv A/* B

6.rm命令

rm命令用于删除文件或者目录,可以删除一个目录下的一个或多个文件或目录,也可以删除整个目录及其下的所有文件和子目录。rm是remove的缩写。rm是一个危险命令,使用的时候要特别小心,在执行rm之前要确认所在目录以及要删除的操作,不要误删。
删除一个文件:

rm A/a.txt

删除不为空的文件夹:

rm -r A/B

删除前询问:

rm -i A/a.txt

7.cat命令

cat命令的用途是连接文件或者标准输入并打印,该命令常用来显示文件内容,或者将几个文件连接起来显示。cat有三大功能

  1. 一次显示整个文件:

    cat filename     
    
  2. 从键盘创建一个文件

    cat >filename
    
  3. 将几个文件合并为1个文件

    cat file1 file2>file
    

命令参数:

  • -b:对非空输出行编号
  • -n:对所有行都输出行号

8.tac命令

cat命令可以显示文件的内容,它反过来写就是tac,而tac恰巧也是一个Linux命令,它的功能就是把文件内容反过来显示,文件内容的最后一行先显示,第一行最后显示。

tac filename

9.more命令

cat命令会显示整个文件的内容,more命令会一页一页的显示方便阅读。按空白键(space)显示下一页,b键会返回前一页。

more filename

命令参数:

  • +n:从第n行开始显示
  • -n:定义屏幕大小为n行
  • -c:从顶部清屏然后显示

10.head命令

head命令用于显示文档的开头至标准输出。
显示文件的前6行:

head -n 6   filename

显示文件前n个字节的内容:

head -c 20   filename    

11.tail命令

tail和head类似,只不过是从尾部显示文件内容.
显示文件的最后10行:

tail -10 filename

或者:

tail -n 10 filename

12.touch命令

touch命令可以修改文件时间或创建新文件:

touch -t 201611151010 filename

设置file1和file2的时间戳相同:

touch file1 file2

13.chown命令

chown命令用于设置文件的所有者属性。
把文件的所有者改为root帐号:

chown root filename

把文件夹的所有者改为root帐号:

chown -R root A

14.find命令

文件查找命令。
找出当前目录下所有的.txt格式文件

find  . -name "*.txt" -print

15.tar命令

tar命令可以用来解压缩文件:

tar  -zxvf filename.tar.gz

16.grep命令

grep命令是一种强大的文本搜索工具,使用正则表达式匹配文本并将搜索结果打印出来.
从多个文件中查找关键词:

grep 'linux' test1.txt test2.txt

找出以h开头的行内容:

cat test.txt |grep ^h

找出不以h开头的行内容:

cat test.txt |grep ^[^h]

找出以de结尾的行内容:

cat  test.txt|grep de$

显示包含he或者sh的行内容:

cat test.txt|grep -E "he|sh"

显示当前目录下以.txt结尾且每个字符串至少包含7个小写字母的的行内容:

grep  '[a-z]\{7\}' *.txt

17.source命令

source命令通常用于立即执行刚修改的初始化文件,使之立即生效,而不必重新启动或注销。
比如配置java环境变量,修改~/.bash_profile之后,使其立即生效:

source ~/.bash_profile

18.开关机命令

18.1重启

重启命令:

reboot

立即重启:

shutdown -r now

10分钟之后立即重启:

shutdown -r 10

设置指定时间重启:

shutdown -r 20:10

如果是通过shutdown命令设置重启的话,可以用shutdown -c命令取消重启

18.2关机

立刻关机:

halt

或者:

poweroff

或者:

shutdown -h now

10分钟之后自动关机

shutdown -h 10

如果是通过shutdown命令设置关机的话,可以用shutdown -c命令取消重启

19.mac查看Java Home

命令:

/usr/libexec/java_home

JDK路径:

/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home

20.根据端口查看进程ID

fuser -n tcp 5601

21.查看磁盘空间使用情况

df -h

例子:

root@iZwz90ndt4p7qqtsxx4v5zZ:~# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       40G  4.9G   33G  13% /
udev            993M  4.0K  993M   1% /dev
tmpfs           201M  256K  200M   1% /run
none            5.0M     0  5.0M   0% /run/lock
none           1002M     0 1002M   0% /run/shm

22、根据文件名查找文件

sudo find / -name a.txt

23、查看文件大小

du -sh *

24、查看多个文件的大小

查看所有以ofbiz.log.2017-05开头的日志文件的大小:

find ./ -iname "ofbiz.log.2017-05*" | xargs du -cb -h

25.脚本同时启动ES-ES-Head-Kibana

每次启动Elasticsearch,Head和Kibana都必不可少,但是每次命令行都要切换好几次,脚本一次启动:
sb是我对sublime对缩写,新建一个脚本文件:

sb start-ehk.sh

写入启动三者对脚本:

sh /Users/bee/Documents/elk/es5.4/elasticsearch-5.4.0/bin/elasticsearch -d

cd /Users/bee/Documents/elk/es5.4/kibana-5.4.0-darwin-x86_64/bin/
nohup sh kibana &

cd /Users/bee/Documents/elk/es5.4/elasticsearch-head-master
nohup grunt server &exit

加上可执行权限:

chmod 777 start-ehk.sh

执行脚本:

sh start-ehk.sh

之后就可以依次访问9200、9100、5610端口啦!

查找进程号关闭,Mac上通过端口号查找pid对命令如下:

lsof -i tcp:5601

(CentOS通过端口查进程店命令为 fuser -n tcp : 5601)

这里写图片描述

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3天前
|
缓存 监控 Linux
|
7天前
|
Linux Shell 数据安全/隐私保护
|
8天前
|
域名解析 网络协议 安全
|
14天前
|
运维 监控 网络协议
|
15天前
|
监控 Linux Shell
|
1天前
|
监控 Linux
Linux常用命令-2
本文继续介绍Linux常用命令,涵盖目录操作、文件操作、系统信息和进程管理等类别。具体包括mkdir、rmdir、cp、mv、rm、touch、whereis、whatis、dmesg、free、date、cal、ps、kill、killall和top等命令的使用方法和常用参数。
21 7
|
1天前
|
Linux Shell
Linux常用命令-1
本课程要求学生熟悉Linux系统终端窗口和命令基础,掌握文件目录类、系统信息类、进程管理类及其他常用命令,学时为3-6小时。课程内容涵盖Linux命令的特点、常见命令的使用方法及其应用场景,如文件浏览、目录切换、内容显示等。建议学生逐个操作命令并及时反馈问题。
17 5
|
4天前
|
缓存 Linux 开发者
深入理解Linux命令 `autom4te`
`autom4te` 是 GNU Autotools 中不可或缺的组件,通过高效处理 M4 宏,生成配置脚本并提供强大的调试功能。了解 `autom4te` 的工作机制和常用选项,可以帮助开发者更好地编写和维护配置文件,从而提高软件项目的配置和编译效率。在实际应用中,结合 `autoconf` 等工具,`autom4te` 能够为项目的构建过程提供坚实的基础。
12 2
|
5天前
|
Linux 开发工具
linux文本管理命令
本文档介绍了Linux系统中常用的文本处理命令,包括`echo`、`cat`、`head`、`tail`、`wc`、`less`、`grep`以及重定向符号的使用方法和练习题。此外,还详细讲解了VIM编辑器的特点、工作模式、常用快捷键和高级技巧,帮助用户高效地进行文本编辑和处理。
21 4
|
15天前
|
Linux 开发工具 Perl
Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
【10月更文挑战第20天】Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
30 4