你需要熟练运用的12个命令行工具

简介: 本文简要介绍了当前较为流行的12种对数据科学任务有价值的类Unix操作系统命令行工具:wget,cat,wc,head,tail,find,cut,uniq,awk,grep,sed,history。

这篇文章简要介绍了十几种用于数据科学任务Unix操作系统命令行工具。这些工具并不包括通用的文件管理命令(pwdlsmkdirrm...)或远程会话管理工具(rshssh...),而是由对数据科学比较有用的实用程序组成,通常会涉及到不同程度的数据检查和处理。这些工具都包含在一个典型的类Unix操作系统中。

这些都是公认的初级阶段所需要使用的工具,你也可以在这个基础上自行查找一些命令的例子。工具名称的链接是维基百科对该工具的介绍,而不是工具手册,在我看来,对于新手来说,维基百科要比工具手册要更实用。

1.wget

wget是一个文件检索工具,基本用法则是远程下载文件。

88ff2724b75a5b4853d0cacb48ee1af99030d19d 

2.cat

cat是对文件内容进行标准输出。名称来源于concatenate用于将两个文件组合在一起(实际连接)将一个文件附加到另一个文件后对文件行进行编号等等。

38aa7a87a78f2eb7042d24d0424567ac50ed83f2 

3.wc

wc用于生成字数行数字节数与文本文件的相关内容。当选项为空时,wc默认输出一行,从左到右分别是:行数、字数(每一行中没有中断的单个字符串被计为单个字)字符数和文件名(多个)。

4e99d1ef5ca3abd9972e22b4c7a863c790933286 

4.head

head将文件的前n行(默认为10)标准输出。-n选项可以设置显示的行数。

2b820e9f3890a7a6d9caadd116d11d53e5ca3020 

5.tail

tail用于输出文件的尾部信息。

7c1d55d8eb83e683cd3553b5b709fb319e02c6f6 

6. find

find用于搜索文件系统中的特定文件。

下图中命令的含义:从当前目录(“.”)开始搜索以“iris”开始、任意类型字符结尾(“-name'iris *'”)、普通文件类型(“-type f“)的文件

f7389a46ba717c406183621fa61c2bc53ebbd311 

7.cut

cut用于从文件中提取文本中的一列。虽然提取出来的列可以使用各种标准进行制作,但cut可以用于从CSV文件中提取一部分数据。

下图中命令的含义:使用逗号(“-d''”)作为字段分隔符输出iris.csv文件的第五列(“-f 5”

775244b6d0f61ec65cb35299cef81b99fbea45f0 

 8.uniq

uniq检查及删除相同的行或列,将文本文件进行标准输出。在命令行中构建管道时个命令可能会很有用将一个命令的输出送到另一个命令的输入等。

下图中命令的含义:列出iris数据集类名第五列重复的次数。

33c2599608ee82cf05371b1f95c38c54845e064a

687cffae333f6c5a6c88e32186d348bb29204283
 

9.awk

awk实际上并不是一个命令,而是一种完整的编程语言。用于处理和提取文本,并且可以命令行以单行命令调用。

掌握awk需要花费一些时间,但在此之前,这是它能够简单完成的一个示例。考虑到我们的示例文件iris.csv相当有限(尤其涉及到文本多样性),该行调用awk,在给定文件(“iris.csv”)内搜索字符串“setosa” ,并逐一打印到标准输出,并打印整行(保存在$ 0变量中)

c95c9fe6b1d5f543958b8c68ea516fb742ec8e92 

10. grep

 grep是另一种文本处理工具,用于匹配字符串和正则表达式。

5bc259abe4db1ad764c0f6557fb31d6cb03936ac

11. sed

 sed是一个流编辑器,是另外一种文本处理和转换工具,类似于awk下图中命令的含义:iris.csv文件中“setosa”更改为“iris-setosa

30942b9c3c2883a45668d842bc5eb9617ba159b2 

12.history

history非常简单,尤其是在你依赖于复制使用过的命令时,这个命令特别有用

5e8891902f1fb0dd058b359bd3914ccda65a0d31 

以上12个命令都是最基本的命令行工具,了解并熟悉其用法对你在数据科学的学习中大有用处。

 

数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

以上为译文。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Top 12 Essential Command Line Tools for Data Scientists》,译者:Mags,审校:袁虎。

文章为简译,更为详细的内容,请查看原文 

 

 

 

相关文章
|
11月前
|
安全 Shell Docker
命令行上的数据科学第二版 四、创建命令行工具
命令行上的数据科学第二版 四、创建命令行工具
77 0
|
监控 Linux Shell
(二)Linux命令行工具进阶:探索高级功能
在Linux系统中,命令行工具提供了丰富的高级功能,用于处理文本、管理进程、监控系统性能等任务。本文将深入探讨一些高级命令和技巧,帮助您更加高效地利用Linux命令行。
142 1
|
Java Shell Linux
适合初学者的Shell核心知识笔记(下)
适合初学者的Shell核心知识笔记(下)
|
机器学习/深度学习 Shell Linux
适合初学者的Shell核心知识笔记(上)
适合初学者的Shell核心知识笔记(上)
151 0
|
JavaScript 前端开发 数据安全/隐私保护
NodeJS 下构建 命令行工具 与 交互式命令界面 的实践
NodeJS 下构建命令行工具 与 交互式命令界面 的实践
590 0
|
负载均衡
命令行工具 - 青云常用操作命令行 qingclix
命令行工具 - 青云常用操作命令行 qingclix
149 0
|
自然语言处理 Linux 测试技术
5款超级好用的命令行工具,提升你的开发效率!
如果你是一个喜欢使用Linux系统,或者经常和Linux打交道的开发人员。那么,终端和命令行一定是接触最为频繁的工具之一。
|
Kubernetes Shell Go
Cobra 快速入门 - 专为命令行程序而生
Cobra 专为命令行程序而生,是众多命令行工具的最佳选择。
2621 0