linux下目录传输多种方法及测试(debian)

简介:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
我的博客已迁移到xdoujiang.com请去那边和我交流
基础环境说明及安装
1、服务器
serverA=192.168.1.124(debian7.8)
serverB=192.168.1.122(debian6.0.10)
 
2、需要将serverB下的目录testtransfer(4.5G)下全部远程复制到serverA下
 
3、需要用到软件
1)apt-cache search pigz
pigz - Parallel Implementation of GZip(多线程压缩)
2)apt-cache search pv | grep  "^pv"
pv - Shell pipeline element to meter data passing through
3)apt-cache search netcat
netcat - TCP /IP  swiss army knife -- transitional package
4)apt-get -y  install  pigz
5)apt-get -y  install  pv
6)apt-get -y  install  netcat
7)apt-get -y  install  wget
8)apt-get -y  install  rsync
9)apt-get -y  install  vsftpd
10)apt-get -y  install  lftp
11)apt-get -y  install  python
 
一、 ssh + tar + gzip (pigz)
1、使用 ssh + tar + gzip 方式( ssh 协议)在(serverB)上
time  tar  czf - testtransfer/| ssh  -q jimmy@192.168.1.124  "tar zxf - -C /tmp"
real    13m20.771s
user    4m43.186s
sys     1m55.239s
 
2、使用 ssh + tar +pigz方式( ssh 协议)在(serverB)上
time  tar  cf - testtransfer/|pigz| ssh  -q jimmy@192.168.1.124  "pigz -d|tar xf - -C /tmp"
real    12m7.335s
user    4m12.200s
sys     1m46.455s
 
参数说明
-d, --decompress     Decompress the compressed input
 
二、nc+ tar + gzip (pigz)
1、使用nc+ tar + gzip 方式(tcp协议)
nc -lp 55555| tar  -zxf - -C  /tmp (serverA)
time  tar  -zcf - testtransfer/|pv|nc -w 1 192.168.1.124 55555(serverB)
real    11m31.341s
user    4m25.589s
sys     1m35.162s
 
2、使用nc+ tar +pigz方式(tcp协议)
nc -lp 55555|pigz -d| tar  xf - -C  /tmp (serverA)
time  tar  -cf - testtransfer/|pigz|pv|nc -w 1 192.168.1.124 55555(serverB)
real    10m42.789s
user    4m9.968s
sys     1m6.860s
 
参数说明
-w secs   timeout  for  connects and final net reads
 
三、python或web服务器
1、python web服务在(serverB)上
nohup  python -m SimpleHTTPServer 50000 &
2、在(serverA)上使用wget去下载
wget -r -q 192.168.1.122:50000
real    4m35.531s
user    0m0.360s
sys     0m33.218s
 
参数说明
-m module-name Searches sys.path  for  the named module and runs the 
corresponding .py  file  as a script.
 
四、 rsync ( rsync 协议)
1、服务端配置(serverB)
1)配置rsyncd.conf
cat  rsyncd.conf 
[aaa]
     path =  /opt/testtransfer
     use chroot =  yes
     read  only =  yes
     uid = jimmy
     gid = jimmy
     auth  users  = www-data
     secrets  file  /etc/rsyncd .secrets
2)配置验证密码
cat  /etc/rsyncd .secrets
www-data:123456
3)权限
chmod  600  /etc/rsyncd .secrets
 
2、客户端配置(serverA)
1)配置密码
cat  /etc/rsyncd .secrets
123456
2)开始传输
time  rsync  -az --password- file = /etc/rsyncd .secrets www-data@192.168.1.122::aaa  /opt/111
real    9m46.331s
user    0m5.600s
sys     1m0.448s
 
参数说明
-a, --archive  This  is equivalent to -rlptgoD. 
-z, --compress With  this  option,  rsync  compresses the  file  data as it is 
sent to the destination machine,  which  reduces the amount of data being 
transmitted -- something that is useful over a slow connection.
 
五、 ftp ( ftp 协议)
1、服务端配置(serverB)
1)配置vsftpd.conf
cat  /etc/vsftpd .conf
listen=YES
local_enable=YES
pam_service_name=vsftpd
 
2、客户端配置(serverA)
time  lftp jimmy:redhat@192.168.1.122 -e  "mirror /opt/testtransfer;quit"
real    7m29.727s
user    0m1.252s
sys     0m46.495s
 
PS:serverB上的jimmy用户建立过的,密码是redhat









本文转自 xdoujiang 51CTO博客,原文链接:http://blog.51cto.com/7938217/1656687,如需转载请自行联系原作者
目录
相关文章
|
1月前
|
存储 Linux
Linux 目录名称
Linux系统目录结构简介:根目录(/)下包含各类功能目录,如/bin存放用户命令,/etc存储配置文件,/home为用户主目录,/var记录日志等可变数据,/usr存放用户工具,/tmp用于临时文件。各目录分工明确,保障系统有序运行。(238字)
212 5
|
5月前
|
JavaScript Linux 内存技术
Debian 11系统下Node.js版本更新方法详解
本指南详细介绍在Linux系统中安装和管理Node.js的步骤。首先检查现有环境,包括查看当前版本和清除旧版本;接着通过NodeSource仓库安装最新版Node.js并验证安装结果。推荐使用nvm(Node Version Manager)进行多版本管理,便于切换和设置默认版本。同时,提供常见问题解决方法,如权限错误处理和全局模块迁移方案,以及版本回滚操作,确保用户能够灵活应对不同需求。
500 0
|
5月前
|
JavaScript Linux 内存技术
Debian 11系统下Node.js版本更新方法
Debian 11更新Node.js主要就是这三种方式,无论你是初涉其中的新手还是找寻挑战的专家,总有一种方式能满足你的需求。现在,你已经是这个
579 80
|
5月前
|
Ubuntu Linux UED
Ubuntu和Debian系统与Hat Linux系列的使用比较
所以,如果你想搞一个家用服务器,或者是个人使用,喜欢新鲜事物,那Ubuntu可能是你的最好选择。如果你需要一个在商业环境中经受住考验的系统,那Fedora或CentOS可能更符合你的口味。不过记住,CentOS现在是CentOS Stream,中途换马了,所以如果你是稳定性的极端追求者,可能得考虑一下这一变化。而Debian,则适合那些对稳定性需求极高,不太追求软件版本新旧的用户。
190 26
|
5月前
|
Ubuntu 搜索推荐 Linux
Ubuntu/Debian Hat系Linux的便捷操作指南
总的来说,虽然Ubuntu/Debian和Red Hat系列在操作方法上有所不同,但基本概念类似。掌握了包管理和服务管理,可以应对大多数常见的系统管理任务。同时,这两个系统都有丰富的在线资源可以查询,不管你在任务中遇到什么困难,搜索引擎都能帮你找到答案。这些基本技能能让你在Linux的世界里更加自如。
185 26
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
866 3
|
7月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
360 28
|
7月前
|
Linux 定位技术
Linux系统中的cd命令:目录切换技巧
踏过千山,越过万水,人生就是一场不断前行的旅程,总充满了未知与挑战。然而,“cd”命令如同你的旅伴,会带你穿梭在如棋盘一般的文件系统中,探索每一处未知。希望你能从“cd”命令中找到乐趣,像是掌控了一种络新妙的魔法,去向未知进发,开始你的探索之旅。
316 24
|
8月前
|
监控 Linux
Linux基础:文件和目录类命令分析。
总的来说,这些基础命令,像是Linux中藏匿的小矮人,每一次我们使用他们,他们就把我们的指令准确的传递给Linux,让我们的指令变为现实。所以,现在就开始你的Linux之旅,挥动你的命令之剑,探索这个充满神秘而又奇妙的世界吧!
163 19
|
7月前
|
网络安全
如何删除Debian中的用户?删除Debian用户方法
本期分享如何删除Debian系统中的用户帐户,包含两种方法:仅删除用户或同时删除用户及其关联文件(使用`userdel`与`userdel -r`命令)。操作前请通过SSH登录服务器,并建议进行系统快照备份以防数据丢失。作为root或sudo用户执行命令时,请将实际用户名替换到命令中。
268 2