linux下拆分文件split

简介:

split 能根据行或大小拆分指定文件。


语法: split [OPTION]... [INPUT [PREFIX]]


说明: split [参数列表]  [待拆分文件  [拆分文件后生成的文件名前缀]]


注意:默认拆分的文件会存在放在当前工作目录,及 pwd 命令所在目录下,默认拆分后生成的文件名以aa , ab , ac顺序增加,如果所拆分的文件数过多(超600)得使用 -a 参数来修改拆分后的文件名长度。

常用方式:(待拆分文件名: split.json ,生成文件名前缀 split-tmp-)

  1. 拆分为1000行一个文件

    1
    split  -l 1000  split .json  split -tmp-
  2. 拆分为1M一个文件

    1
    split  -b 1M  split .json  split -tmp-


参数列表:


-a , --suffix-length=N

说明:拆分后生成顺序文件名的长度,默认为2 ,在没有使用-d或--numeric-suffixes[=FROM] 参数时,是为 aa , ab , ac , ad 顺序递增生成拆分文件。


--additional-suffix=SUFFIX

说明:指定拆分后生成的文件名后缀,默认没有后缀;如指定 --additional-suffix=.json 则生成的拆分文件为 aa.json , ab.json , ac.json。


-b , --bytes=SIZE

说明:指定每个拆分文件的大小,可以使用单位(K , M , G , T , P , E , Z , Y )或(KB ,MB,GB,TB,PB,EB,ZB,YB)单位进制为 1024字节。


-C , -line-bytes=SIZE

说明:类似 -b 参数,但这里是在保证每行的完整性下拆分文件,可用单位与 -b 一样。


-d , --numeric-suffixes[=FROM]

说明:指定拆分后生成顺序文件名为数字方式,默认为 00 , 01 ,02,03 。或者指定开始值。

如:

1
split  -l 1000 -d  split .json  split -tmp-

1
split  -l 1000 --numeric-suffixes=10  split .json  split -tmp-

注意:如果没有指定拆分生成文件名的前缀默认会在数字上添加 x 如: x00 , x01 , x02


-e , --elide-empty-files

说明:指定当文件是空的时候不生成拆分文件,只针对使用 -n 或 --number=CHUNKS 参数。


--filter=COMMAND

说明:调用shell脚本文件过滤处理,脚本获取拆分生成文件名的变量是 $FILE ,获取文件内容使用变量是 $file 。这是一个高级命令,可以使用这两个变量处理最终的拆分文件结构。

注意:使用这个参数后,当前命令是不会生成拆分文件,如果要写拆分文件得通用shell命令来处理。


-l , --lines=NUMBER

说明:指定拆分后每个文件的最大行数。


-n , -number=CHUNKS


说明:拆分生成块文件。

CHUNKS参数说明:注意:N 和 K 是数值并且 K<N,l 与 r 是关键字

N         分成N个差不多大小的文件,并保存。例:

1
split  -n 10  split .json  split -tmp-

K/N     分成N个差不多的文件并且输出显示从 K 到 N 的文件内容,不保存文件。例:

1
split  -n 9 /10  split .json

l/N      保证每行完整相对均匀分成N个文件,并保存。例:

1
split  -n l /10  split .json  split -tmp-

l/K/N   保证每行完整相对均匀分成N个文件并且输出从 K 到 N 的文件内容,不保存文件。例:

1
split  -n l /9/10  split .json

r/N     类似 l/N 但使用的循环分配(分配均匀度没有 l/N 高),并保存文件。例:

1
split  -n r /10  split .json  split -tmp-

r/K/N   类似 l/N 但使用的循环分配(分配均匀度没有 l/N 高),并且输出从 K 到 N 的文件内容,不保存文件。例:

1
split  -n r /9/10  split .json


-u , --unbuffered

说明:无缓冲立即将输入复制到输出,只针对使用-n 或 --number=CHUNKS 参数且参数值为  r/* 。


--verbose

说明:打印出每个拆分后生成文件信息


--help

说明:显示命令帮助


--version

说明:显示命令版本相关信息



拆分后的文件如果要合并可以使用命令:(待合并的文件有:aa , ab , ac , ad 合并后文件名 merge.log)

1
cat aa ab ac ad > merge.log

本文转自  ttlxihuan    51CTO博客,原文链接:http://blog.51cto.com/php2012web/1660968
相关文章
|
8天前
|
运维 安全 Linux
Linux中传输文件文件夹的10个scp命令
【10月更文挑战第18天】本文详细介绍了10种利用scp命令在Linux系统中进行文件传输的方法,涵盖基础文件传输、使用密钥认证、复制整个目录、从远程主机复制文件、同时传输多个文件和目录、保持文件权限、跨多台远程主机传输、指定端口及显示传输进度等场景,旨在帮助用户在不同情况下高效安全地完成文件传输任务。
83 5
|
8天前
|
Linux Shell 数据库
Linux文件查找新姿势:总有一种你没见过
【10月更文挑战第18天】文件查找是Linux用户提升工作效率的重要技能。本文介绍了几种实用的文件查找方法,包括基础的`find`命令、快速的`locate`和`mlocate`、高效的`fd`工具、以及结合`grep`和`rg`进行内容搜索。此外,还提供了编写Shell脚本和使用图形界面工具的建议,帮助你更灵活地管理文件。
34 3
|
19天前
|
Linux 开发工具 数据安全/隐私保护
linux异常一:feng 不在 sudoers 文件中,此事将被报告。yum提示Another app is currently holding the yum lock; waiting for
这篇文章介绍了在CentOS 7系统中安装Docker时遇到的两个常见问题及其解决方法:用户不在sudoers文件中导致权限不足,以及yum被锁定的问题。
30 2
linux异常一:feng 不在 sudoers 文件中,此事将被报告。yum提示Another app is currently holding the yum lock; waiting for
|
2天前
|
Linux 数据库
linux 全局搜索文件
在 Linux 系统中,全局搜索文件常用 `find`、`locate` 和 `grep` 命令。`find` 根据文件名、类型、大小、时间戳等条件搜索;`locate` 通过预构建的数据库快速查找文件;`grep` 在文件中搜索特定文本,常与 `find` 结合使用。选择合适的命令取决于具体需求。
|
6天前
|
Linux 开发工具 Perl
Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
【10月更文挑战第20天】Linux命令替换目录下所有文件里有"\n"的字符为""如何操作?
20 4
|
5天前
|
运维 安全 Linux
Linux文件清空的五种方法总结分享
每种方法各有优势,选择最合适的一种或几种,可以极大提高您的工作效率。更多有关Linux系统管理的技巧与资源,欢迎访问,持续提升您的运维技能。
40 1
|
15天前
|
Linux Shell 数据库
Linux文件查找新姿势:总有一种你没见过
文件查找是Linux用户提升工作效率的关键技能。本文介绍了几种不常见的文件查找方法,包括使用`find`结合`column`美化输出、利用`locate`和`mlocate`快速查找、编写Shell脚本自动化任务、使用现代工具`fd`以及结合`grep`和`rg`进行内容搜索。此外,还推荐了几款图形界面搜索工具。掌握这些技巧,让你的文件查找更加高效便捷。
44 2
|
6月前
|
Linux
百度搜索:蓝易云【Linux中如何对文件进行压缩和解压缩?】
这些是在Linux中进行文件压缩和解压缩的常见方法。根据您的需求和具体情况,可能会使用其他压缩工具和选项。您可以通过查阅相应命令的帮助文档来获取更多详细信息。
84 1
|
6月前
|
NoSQL Java Linux
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
|
6月前
|
算法 Java Linux
Linux下文件增删改查定位压缩操作与权限所属用户
Linux下文件增删改查定位压缩操作与权限所属用户
71 0