tar之多线程解压缩

简介: tar之多线程解压缩

大家好,我是早九晚十二,目前是做运维相关的工作。写博客是为了积累,希望大家一起进步!

关于tar

我们平常在服务器上操作时,经常会使用到tar命令,这是Unix和类Unix系统上的压缩打包工具,可以将多个文件合并为一个文件,打包后的文件后缀亦为“tar”。它可以在任何用户下使用。
同时,它有多个压缩率不同的版本,如tar.xz和tar.gz,前者的压缩率更高,但可能有兼容性问题。
如果大家使用过tar,一定都会有这个感受:当你在解压或者压缩一个超大文件时,速度会很慢!这是由于tar解压缩操作是用单线程去操作的,如果你在解压的时候,使用top命令,常常会看到某一个cpu飙升到100%。

今天我们就介绍一下,tar的多线程操作。

多线程安装

yum -y install pigz

pigz命令来自于英文词组”parallel implementation of gzip“的缩写,其功能是用于多线程的解压缩文件。与其他解压缩命令不同的是pigz命令支持多线程的并行处理方式,同比gzip能快60%以上,当然CPU的消耗也会更高。

#压缩文件
tar --use-compress-program=pigz -cvpf  app.tar.gz  app

#解压文件
tar --use-compress-program=pigz -xvpf     app.tar.gz

--use-compress-program=pigz即代表使用的pigz工具,那么究竟效果如果呢,我们一起期待一下

结果测试

我们可以编写一个脚本,计算使用pigz和不使用的时间。

#!/bin/bash

echo "starttime: `date +"%Y-%m-%d %H:%M:%S"`" > tar.txt
sleep 5 #在这里填写我们的压缩命令
echo "endtime: `date +"%Y-%m-%d %H:%M:%S"`" >> tar.txt

start=`awk '{print $2,$3}' tar.txt | sed -n '1p'` 
end=`awk '{print $2,$3}' tar.txt | sed -n '2p' `
echo $start
echo $end

starttime={
   
   mathJaxContainer[2]}start" +%s) #转化为系统时间
endtime=$(date  -d "$end"  +%s)
runtime={
   
   mathJaxContainer[4]}endtime-$starttime))  #计算程序运行时间
echo $runtime

单线程压缩

将sleep 5替换为tar -cvpf app.tar.gz app/后执行,输出结果为26s
image.png

多线程压缩

将sleep 5替换为tar --use-compress-program=pigz -cvpf app.tar.gz app后执行,输出结果为15s
image.png

根据以上测试结果,可以看到时间缩短了11s。解压的话,小伙伴们可以自己测试一下。

码字不易,希望大家有用到的可以三连支持一波。哪里有问题的话可以指出,谢谢大家!

相关文章
|
固态存储 Ubuntu Linux
Linux(29) 多线程快速解压缩|删除|监视大型文件
Linux(29) 多线程快速解压缩|删除|监视大型文件
2362 1
|
10月前
|
Java API 微服务
为什么虚拟线程将改变Java并发编程?
为什么虚拟线程将改变Java并发编程?
435 83
|
7月前
|
Java
如何在Java中进行多线程编程
Java多线程编程常用方式包括:继承Thread类、实现Runnable接口、Callable接口(可返回结果)及使用线程池。推荐线程池以提升性能,避免频繁创建线程。结合同步与通信机制,可有效管理并发任务。
288 6
|
12月前
|
机器学习/深度学习 消息中间件 存储
【高薪程序员必看】万字长文拆解Java并发编程!(9-2):并发工具-线程池
🌟 ​大家好,我是摘星!​ 🌟今天为大家带来的是并发编程中的强力并发工具-线程池,废话不多说让我们直接开始。
419 0
|
8月前
|
算法 Java
Java多线程编程:实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
516 16
|
7月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
691 0
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
通过本文,您可以了解如何在业务线程中注册和处理Linux信号。正确处理信号可以提高程序的健壮性和稳定性。希望这些内容能帮助您更好地理解和应用Linux信号处理机制。
284 26
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
本文详细介绍了如何在Linux中通过在业务线程中注册和处理信号。我们讨论了信号的基本概念,并通过完整的代码示例展示了在业务线程中注册和处理信号的方法。通过正确地使用信号处理机制,可以提高程序的健壮性和响应能力。希望本文能帮助您更好地理解和应用Linux信号处理,提高开发效率和代码质量。
309 17

热门文章

最新文章