rsync命令使用总结

简介:

rsync的重要功能


速度:第一次,rsync复制源目录和目标目录之间的整个内容。下一次,rsync仅将更改的块或字节传输到目标位置,这使传输真正快速。

安全性:rsync允许在传输过程中使用ssh协议对数据进行加密。

较少带宽:rsync分别在发送和接收端使用数据块的压缩和解压缩。因此,rsync使用的带宽与其他文件传输协议相比总是较少。

特权:安装和执行rsync不需要特殊的权限

使用格式:

1
rsync  options  source  destination

Source 、destination可以是本地或远程。在远程的情况下,指定登录名,远程服务器名称和位置。


1.同步本地服务器中的两个目录

要同步本地计算机中的两个目录,请使用以下rsync -zvr命令

1
2
3
4
5
6
7
8
9
10
11
12
13
# rsync -zvr /tmp/ /data/
sending incremental  file  list
ks-script-hd1UxV
yum.log
.ICE-unix/
.Test-unix/
.X11-unix/
.XIM-unix/
.font-unix/
111/
 
sent 642 bytes  received 74 bytes  1432.00 bytes /sec
total size is 836  speedup is 1.17

在上面的rsync示例中:

  • -z是启用压缩

  • -v详细

  • -r表示递归

现在让我们看一下从源到目的地复制的文件之一的时间戳。如下所示,rsync在同步期间没有保留时间戳

1
2
3
# ll /tmp/yum.log /data/yum.log 
-rw-------. 1 root root 0 Aug 25 22:16  /data/yum .log
-rw-------. 1 root root 0 Aug 20 20:39  /tmp/yum .log

2.使用rsync -a在同步期间保留时间戳

rsync选项-a表示归档模式。-a选项执行以下操作,

  • 递归模式

  • 保存符号链接

  • 保留权限

  • 保留时间戳

  • 保存所有者和组

现在,执行示例1中提供的相同命令(但是使用rsync选项-a),如下所示:

1
2
3
4
5
6
7
8
9
10
11
# rsync -azv /tmp/ /data/        
sending incremental  file  list
./
ks-script-hd1UxV
yum.log
.ICE-unix/
.Test-unix/
.X11-unix/
.XIM-unix/
.font-unix/
111/

如下所示,rsync在同步期间保留时间戳

1
2
3
# ll /tmp/yum.log /data/yum.log 
-rw-------. 1 root root 0 Aug 20 20:39  /data/yum .log
-rw-------. 1 root root 0 Aug 20 20:39  /tmp/yum .log

3.仅同步单个文件

要仅复制一个文件,请指定rsync命令的文件名,如下所示。

1
2
3
4
5
# rsync -v /tmp/yum.log /data/
yum.log
 
sent 67 bytes  received 31 bytes  196.00 bytes /sec
total size is 0  speedup is 0.00

4.将文件从本地同步到远程

rsync允许您同步本地和远程系统之间的文件/目录。

1
2
3
4
5
6
7
8
9
10
# rsync -avz /data/1.txt root@192.168.0.172:/data/
The authenticity of host  '192.168.0.172 (192.168.0.172)'  can't be established.
ECDSA key fingerprint is 96:4f:34:ce:2f:c6:15:ae:24:06:02:7f:e1:a8:7f:66.
Are you sure you want to  continue  connecting ( yes /no )?  yes
Warning: Permanently added  '192.168.0.172'  (ECDSA) to the list of known hosts.
sending incremental  file  list
1.txt
 
sent 75 bytes  received 31 bytes  11.16 bytes /sec
total size is 6  speedup is 0.06

在与远程服务器进行同步时,需要指定远程服务器的用户名和IP地址。您还应该在远程服务器上指定目标目录。格式为username @ machinename:path

如上所述,它在从本地到远程服务器执行rsync时要求输入密码。

有时您不想在从本地服务器远程服务器备份文件时输入密码。例如,如果您有一个备份shell脚本,可以使用rsync将文件从本地文件复制到远程服务器,那么您无需输入密码即可使用rsync。

要做到这一点,请先安装ssh密码登录

5.将文件从远程同步到本地

当要将文件从远程同步到本地时,请在目标的源和本地路径中指定远程路径,如下所示。

1
2
3
4
5
6
# rsync -avz 192.168.0.176:/data/yum.log /data/ 
receiving incremental  file  list
yum.log
 
sent 30 bytes  received 73 bytes  18.73 bytes /sec
total size is 0  speedup is 0.00

6.用于同步的远程shell

rsync允许您指定要使用的远程shell。您可以使用rsync ssh启用安全的远程连接。使用rsync -e ssh指定要使用哪个远程shell。在这种情况下,rsync将使用ssh

1
2
3
4
5
6
7
8
9
10
11
12
# rsync -avz -e ssh 192.168.0.176:/data/ /data/tmp/        
receiving incremental  file  list
./
yum.log
.ICE-unix/
.Test-unix/
.X11-unix/
.XIM-unix/
.font-unix/
 
sent 53 bytes  received 204 bytes  514.00 bytes /sec
total size is 0  speedup is 0.00

7.不覆盖目的地的修改文件

在典型的同步情况下,如果文件在目的地被修改,我们可能不想用来源的旧文件覆盖该文件。

使用rsync -u选项来做到这一点。(即不要覆盖目的地的文件,如果被修改)。在以下示例中,名为Basenames的文件已在目标位置修改。所以,它不会被rsync -u覆盖。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# cat /data/tmp/yum.log 
111111
# rsync -avzu 192.168.0.176:/data/ /data/tmp/       
receiving incremental  file  list
 
sent 16 bytes  received 150 bytes  110.67 bytes /sec
total size is 0  speedup is 0.00
# rsync -avzu 192.168.0.176:/data/ /data/tmp/
receiving incremental  file  list
./
2.txt
 
sent 38 bytes  received 216 bytes  46.18 bytes /sec
total size is 7  speedup is 0.03
# cat /data/tmp/yum.log 
111111

8.仅同步目录树结构(而不是文件)

使用rsync -d选项只能从源到目的地同步目录树。以下示例,以递归方式同步目录树,而不是目录中的文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# tree /data/
/data/
├── 1dir
│   ├── 4dir
│   │   └── 5.txt
│   └── 5dir
├── 2dir
│   ├── 4dir
│   └── 5dir
├── 2.txt
├── 3dir
│   ├── 4dir
│   └── 5dir
└── yum.log
# rsync -vd 192.168.0.176:/data/ /data/tmp/    
receiving  file  list ...  done
yum.log
1dir/
2dir/
3dir/
 
sent 45 bytes  received 231 bytes  552.00 bytes /sec
total size is 7  speedup is 0.03
# tree /data/tmp/
/data/tmp/
├── 1dir
├── 2dir
├── 2.txt
├── 3dir
└── yum.log
 
3 directories, 2 files

9.在传输过程中查看rsync进度

当您使用rsync进行备份时,您可能需要知道备份的进度。即有多少个文件是副本,以什么速度复制文件等。

rsync -progress选项显示rsync执行的详细进度,如下所示。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# rsync -avz --progress 192.168.0.176:/data/ /data/tmp/
receiving incremental  file  list
./
yum.log
            0 100%    0.00kB /s     0:00:00 (xfer #1, to-check=15/18)
1dir/
1dir /4dir/
1dir /4dir/5 .txt
            6 100%    5.86kB /s     0:00:00 (xfer #2, to-check=4/18)
1dir /5dir/
2dir/
2dir /4dir/
2dir /5dir/
3dir/
3dir /4dir/
3dir /5dir/
 
sent 93 bytes  received 470 bytes  375.33 bytes /sec
total size is 13  speedup is 0.02

您还可以使用rsnapshot实用程序(使用rsync)来备份本地linux服务器备份远程linux服务器


10.删除目标中创建的文件

如果文件不存在于源,但存在于目标中,则可能需要在rsync期间删除目标文件。

在这种情况下,请使用-delete选项,如下所示。rsync delete选项删除源目录中不存在的文件。

#来源和目标同步。现在在目标中创建新的文件
# touch /data/tmp/{2,3}.txt
# ll !$
ll /data/tmp/{2,3}.txt
-rw-r--r-- 1 root root 7 Aug 25 23:16 /data/tmp/2.txt
-rw-r--r-- 1 root root 0 Aug 25 23:16 /data/tmp/3.txt
# rsync -avz --delete 192.168.0.176:/data/ /data/tmp/
receiving incremental file list
deleting 3.txt
./
2.txt

sent 53 bytes  received 399 bytes  904.00 bytes/sec
total size is 13  speedup is 0.03
# ll /data/tmp/{2,3}.txt                              
ls: cannot access /data/tmp/3.txt: No such file or directory
-rw-r--r-- 1 root root 7 Aug 25 23:06 /data/tmp/2.txt
# cat /data/tmp/2.txt
222222

目标有新的文件名为1.txt,当与-delete选项同步时,它删除了文件1.txt

11.不要在目标上创建新文件

如果你愿意,你可以更新(同步)目标的现有文件。如果源有新的文件,目标不存在,您可以避免在目标上创建这些新文件。如果需要此功能,请使用-existing选项与rsync命令。

首先,把目前的之前同步的3.txt删除,目的地就没有了3.txt

1
2
3
4
5
6
7
# rm -rf /data/tmp/3.txt
[root@kvm-host ~] # rsync -avz --existing 192.168.0.176:/data/ /data/tmp/
receiving incremental  file  list
./
 
sent 28 bytes  received 405 bytes  66.62 bytes /sec
total size is 53  speedup is 0.12

source:

1
2
3
4
5
6
7
8
9
# ll /data/
total 12
drwxr-xr-x. 4 root root 30 Aug 25 23:09 1dir
drwxr-xr-x. 4 root root 30 Aug 25 23:09 2dir
-rw-r--r--. 1 root root  7 Aug 25 23:06 2.txt
drwxr-xr-x. 4 root root 30 Aug 25 23:09 3dir
-rw-r--r--. 1 root root 20 Aug 25 23:22 3.txt
-rw-r--r--. 1 root root 20 Aug 25 23:21 new- file .txt
-rw-------. 1 root root  0 Aug 25 22:21 yum.log

dst:

1
2
3
4
5
6
7
# ll /data/tmp/
total 16
drwxr-xr-x 4 root root 4096 Aug 25 23:09 1dir
drwxr-xr-x 4 root root 4096 Aug 25 23:09 2dir
-rw-r--r-- 1 root root    7 Aug 25 23:06 2.txt
drwxr-xr-x 4 root root 4096 Aug 25 23:09 3dir
-rw------- 1 root root    0 Aug 25 22:21 yum.log

现在让我们看看rsync如何显示这个差异。-i选项显示项目更改。

1
2
3
4
5
6
7
  rsync  -avzi 192.168.0.176: /data/  /data/tmp/           
receiving incremental  file  list
>f+++++++++ 3.txt
>f+++++++++ new- file .txt
 
sent 63 bytes  received 520 bytes  1166.00 bytes /sec
total size is 53  speedup is 0.09

在输出中,它显示文件名或目录名前面的9个字母,表示更改。

在我们的例子中,前面的字母表示如下:

1
2
3
4
5
>指定文件正在传输到本地主机。
f表示它是一个文件。
s表示大小变化。t表示时间戳更改。
o所有者改变
g组改变了。

13.在文件传输期间包括和排除模式

rsync允许您在进行同步时给出要包含的模式并排除文件或目录。

1
2
3
# mkdir /data/{s1dir,s2dri}
# mkdir /data/r1dir
# touch /data/r1dir/u.txt
1
2
3
4
5
6
7
8
# rsync -avz --include 's*' --exclude '*' 192.168.0.176:/data/ /data/tmp/ 
receiving incremental  file  list
./
s1dir/
s2dri/
 
sent 37 bytes  received 80 bytes  234.00 bytes /sec
total size is 0  speedup is 0.00

在上面的例子中,它只包含以's'(使用rsync include)开头的文件或目录,并排除所有其他文件。(使用rsync 排除'*')


14.不要传输大文件

您可以告诉rsync不要使用rsync -max-size选项传输大于特定大小的文件。

1
2
3
4
5
6
7
8
9
10
11
12
# ll -h /data/test.txt /data/t.txt
-rw-r--r--. 1 root root  78K Aug 25 23:51  /data/test .txt
-rw-r--r--. 1 root root 2.0K Aug 25 23:52  /data/t .txt
# rsync -avz --max-size="50K" 192.168.0.176:/data/ /data/tmp/
receiving incremental  file  list
./
t.txt
r1dir/
r1dir /u .txt
 
sent 72 bytes  received 1300 bytes  249.45 bytes /sec
total size is 81341  speedup is 59.29

max-size = 50K使rsync仅传输小于或等于50K的文件。您可以将M表示为兆字节,G表示千兆字节。

15、传输整个文件

rsync的一个主要特点是它只将更改的块传输到目的地,而不是发送整个文件。

如果不考虑网络带宽(但CPU除外),则可以使用rsync -W选项传输整个文件。这将加速rsync进程,因为它不必在源和目的地执行校验和

1
2
3
4
5
6
# rsync -avzW 192.168.0.176:/data/ /data/tmp/
receiving incremental  file  list
test .txt
 
sent 47 bytes  received 13085 bytes  2387.64 bytes /sec
total size is 81341  speedup is 6.19

16、通过ssh无密码rsync

首先需要生成没有加密的public key,把你的ssh public key放到远程主机

1
2
3
4
5
6
7
# ssh-keygen
Enter passphrase (empty  for  no passphrase):
Enter same passphrase again:
 
ssh -copy- id  -i ~/. ssh /id_rsa .pub 192.168.0.176
 
# rsync -avz -e ssh /data/tmp/ 192.168.0.176:/data/



本文转自 喵来个鱼 51CTO博客,原文链接:http://blog.51cto.com/m51cto/1959478,如需转载请自行联系原作者
相关文章
|
数据安全/隐私保护 Linux 网络安全
|
算法 安全 Shell
rsync使用详解
1、什么是Rsync  Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。
1245 0
|
Shell 网络安全
|
数据安全/隐私保护 网络协议 算法