你需要熟练运用的12个命令行工具

简介: 本文简要介绍了当前较为流行的12种对数据科学任务有价值的类Unix操作系统命令行工具:wget,cat,wc,head,tail,find,cut,uniq,awk,grep,sed,history。

这篇文章简要介绍了十几种用于数据科学任务Unix操作系统命令行工具。这些工具并不包括通用的文件管理命令(pwdlsmkdirrm...)或远程会话管理工具(rshssh...),而是由对数据科学比较有用的实用程序组成,通常会涉及到不同程度的数据检查和处理。这些工具都包含在一个典型的类Unix操作系统中。

这些都是公认的初级阶段所需要使用的工具,你也可以在这个基础上自行查找一些命令的例子。工具名称的链接是维基百科对该工具的介绍,而不是工具手册,在我看来,对于新手来说,维基百科要比工具手册要更实用。

1.wget

wget是一个文件检索工具,基本用法则是远程下载文件。

88ff2724b75a5b4853d0cacb48ee1af99030d19d 

2.cat

cat是对文件内容进行标准输出。名称来源于concatenate用于将两个文件组合在一起(实际连接)将一个文件附加到另一个文件后对文件行进行编号等等。

38aa7a87a78f2eb7042d24d0424567ac50ed83f2 

3.wc

wc用于生成字数行数字节数与文本文件的相关内容。当选项为空时,wc默认输出一行,从左到右分别是:行数、字数(每一行中没有中断的单个字符串被计为单个字)字符数和文件名(多个)。

4e99d1ef5ca3abd9972e22b4c7a863c790933286 

4.head

head将文件的前n行(默认为10)标准输出。-n选项可以设置显示的行数。

2b820e9f3890a7a6d9caadd116d11d53e5ca3020 

5.tail

tail用于输出文件的尾部信息。

7c1d55d8eb83e683cd3553b5b709fb319e02c6f6 

6. find

find用于搜索文件系统中的特定文件。

下图中命令的含义:从当前目录(“.”)开始搜索以“iris”开始、任意类型字符结尾(“-name'iris *'”)、普通文件类型(“-type f“)的文件

f7389a46ba717c406183621fa61c2bc53ebbd311 

7.cut

cut用于从文件中提取文本中的一列。虽然提取出来的列可以使用各种标准进行制作,但cut可以用于从CSV文件中提取一部分数据。

下图中命令的含义:使用逗号(“-d''”)作为字段分隔符输出iris.csv文件的第五列(“-f 5”

775244b6d0f61ec65cb35299cef81b99fbea45f0 

 8.uniq

uniq检查及删除相同的行或列,将文本文件进行标准输出。在命令行中构建管道时个命令可能会很有用将一个命令的输出送到另一个命令的输入等。

下图中命令的含义:列出iris数据集类名第五列重复的次数。

33c2599608ee82cf05371b1f95c38c54845e064a

687cffae333f6c5a6c88e32186d348bb29204283
 

9.awk

awk实际上并不是一个命令,而是一种完整的编程语言。用于处理和提取文本,并且可以命令行以单行命令调用。

掌握awk需要花费一些时间,但在此之前,这是它能够简单完成的一个示例。考虑到我们的示例文件iris.csv相当有限(尤其涉及到文本多样性),该行调用awk,在给定文件(“iris.csv”)内搜索字符串“setosa” ,并逐一打印到标准输出,并打印整行(保存在$ 0变量中)

c95c9fe6b1d5f543958b8c68ea516fb742ec8e92 

10. grep

 grep是另一种文本处理工具,用于匹配字符串和正则表达式。

5bc259abe4db1ad764c0f6557fb31d6cb03936ac

11. sed

 sed是一个流编辑器,是另外一种文本处理和转换工具,类似于awk下图中命令的含义:iris.csv文件中“setosa”更改为“iris-setosa

30942b9c3c2883a45668d842bc5eb9617ba159b2 

12.history

history非常简单,尤其是在你依赖于复制使用过的命令时,这个命令特别有用

5e8891902f1fb0dd058b359bd3914ccda65a0d31 

以上12个命令都是最基本的命令行工具,了解并熟悉其用法对你在数据科学的学习中大有用处。

 

数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

以上为译文。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Top 12 Essential Command Line Tools for Data Scientists》,译者:Mags,审校:袁虎。

文章为简译,更为详细的内容,请查看原文 

 

 

 

相关文章
|
2月前
|
Unix Shell Linux
赞!优雅的Python多环境管理神器!易上手易操作!
赞!优雅的Python多环境管理神器!易上手易操作!
|
7月前
|
监控 Linux Shell
(二)Linux命令行工具进阶:探索高级功能
在Linux系统中,命令行工具提供了丰富的高级功能,用于处理文本、管理进程、监控系统性能等任务。本文将深入探讨一些高级命令和技巧,帮助您更加高效地利用Linux命令行。
52 1
|
5月前
|
数据采集 人工智能 Shell
零基础学会Python编程——开发环境的搭建
零基础学会Python编程——开发环境的搭建
43 0
|
5月前
|
Python Windows
Windows系统上配置Python开发环境
Python安装程序 首先,您需要从Python官方网站(https://www.python.org/downloads/)下载Python的最新稳定版本。在页面上选择适用于Windows的安装程序。 运行安装程序 下载完成后,双击下载的安装程序(通常是一个.exe文件),然后按照安装向导的指示进行操作。请确保在安装过程中勾选“Add Python to PATH”选项,这将使您能够在命令行中轻松访问Python。
49 1
|
5月前
|
JSON 文字识别 API
哈哈,我用Python开发了一个搜题神奇
哈哈,我用Python开发了一个搜题神奇
85 0
|
11月前
|
SQL JSON 网络安全
【安装与配置 三】C#后端开发常用工具
【安装与配置 三】C#后端开发常用工具
111 0
|
开发工具 Python
python开发:简便搭建环境
python开发简便搭建环境
|
运维 Kubernetes Go
|
前端开发 IDE 数据挖掘
7款Python开发工具介绍,你最中意哪一款
工欲善其事必先利其器,有一款好用上手的Python编辑器能够大大提高码代码的效率,而且所带来的提升不是从 1 到 1.1 倍速,是从 1 到 10 倍速。所以行哥这里来推荐几个常用的Python开发工具,看你用过几个?
132 0
7款Python开发工具介绍,你最中意哪一款