Rsync数据同步

1.Rsync简介

1.1.什么是Rsync

• Rsync是一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。可实现全量备份与增量备份，因此非常适合用于架构集中式备份或异地备份等应用。
  
• rsync监听端口：873
  
• rsync运行模式：C/S，B/S
  

1.2.Rsync特性

• 支持拷贝特殊文件如链接文件，设备等。
• 可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
• 可以做到保持原文件或目录的权限，时间，软硬链接，属主，组等属性均不改变-p。
• 可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
• 可以使用rcp，rsh，ssh等方式来配合传输文件（rsync本身不对数据加密）。
• 可以通过socket（进程方式）传输文件和数据（服务端和客户端）。

• 支持匿名的或认证（无需系统用户）的进程模式传输，可实现方便安全的进行数据备份及镜像。

1.3.Rsync企业工作场景

（1）由webServer向Rsync服务器上传

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S0GO3uEc-1666762698910)(images/10.jpg)]

（2）由Rsync服务器向webServer拉取

（3）多Rsync服务器备份

（4）异地备份

2.Rsync的数据传输方式

2.1.rsync命令下载及常用参数

（1）Rsync软件包下载

yum -y install rsync

（2）常用参数

• -v：–verbose详细模式输出，传输时的进度等信息。
• -z：–compress传输时进行压缩，可以根据–compress-level=NUM可按级别压缩。
• -a：–archive归档模式，表示以递归的方式传输，保留文件属性。
• -r：–recursive递归模式传输。
• -t：–times保持文件时间信息。
• -o：–owner保持文件属主信息。
• -p：–perms保持文件权限。
• -g：–group保持文件属组信息。

• -P：显示同步的过程信息进度条。
• –delete：让源目录和目标数据保持一至。

2.2.本地数据文件复制

（1）创建lixiang.txt文件和目录lixiang

touch lixiang.txt
mkdir lixiang

（2）将lixiang.txt追加内容并复制到lixiang目录下

echo "hello lixiang" >>lixiang.txt
rsync lixiang.txt lixiang

（3）/root新建test目录，将lixiang目录整体复制到test下

rsync -zav lixiang test

2.3.远程数据文件复制

• 机器准备
• 192.168.159.11
• 192.168.159.12

（1）将11节点下的test目录发送到12节点

rsync -zav test rsync2:/root   #rsync2是在/etc/hosts文件下做的映射，这里也可以写成ip

（2）将12节点的yumjisuan目录拉取到本机的root目录下

rsync -zav rsync2:/root/yunjisuan /root

2.4.守护进程数据文件复制

• 机器准备
• 192.168.159.22（rsync服务端）
• 192.168.159.23（rsync客户端）

（1）新增vi /etc/rsyncd.conf配置文件

#用户id
uid = rsync
#组id
gid = rsync
#程序安全设置
use chroot = no
#客户端连接数
max connections = 200
#进程号文件位置
pid file = /var/run/rsyncd.pid
#进程锁文件位置
lock file = /var/run/rsync.lock
#日志文件位置
log file = /var/run/rsyncd.log
#连接超时时间
timeout = 300
#3.1版本以上要加这个
fake super = yes
#模块名称
[backup]
#同步数据的目录
path = /backup
#有错误时忽略
ignore errors
#只读模式（true为只读，false为可读可写）
read only = false
#阻止远程列表
list = false
#允许访问的IP
hosts allow = 192.168.159.0/24
#禁止访问的IP
hosts deny = 0.0.0.0/32
#虚拟用户
auth users = rsync_backup
#存放用户和密码的文件
secrets file = /etc/rsync.password

（2）创建密码文件vi /etc/rsync.password

rsync_backup:123456

（3）给/etc/rsync.password降权

chmod 600 /etc/rsync.password

（4）创建程序用户rsync

useradd -M -s /sbin/nologin rsync

（5）守护进程启动rsync

rsync --daemon

（6）12客户端节点新增密码文件vi /etc/rsync.password

123456

（7）给/etc/rsync.password降权

chmod 600 /etc/rsync.password

（8）测试传输文件到11服务器节点

rsync -zav inotify.sh rsync_backup@192.168.159:23::backup --password-file=/etc/rsync.password

3.Rsync企业应用

3.1.Rsync应用场景及风险提示

• 执行–delete参数从rsync服务器端往rsync客户端拉取数据时，一定要小心，最好不用，它比从rsync客户端带–delete参数王rsync服务端推送危险的多。
  
• 客户端带–delete参数往服务端推送仅删除服务端模块下的数据，而前者有能力删除rynsc客户端本地的所有数据包阔根下的所有目录。
  
• 注意：–delete参数一定要放在客户端去执行，客户端上传的时候携带。
  
• **rsync推送企业的工作场景：**备份–delete风险 本地有啥，远端就有啥，本地没有的远端有也要删除。服务器端的目录数据可能丢失。
  
• **rsync拉取企业的工作场景：**代码发布，下载。–delete风险 远端有啥，本地（客户端）就是啥，远端没有本地有也要删除。本地的目录数据可能丢失。
  

3.2.Rsync的优缺点

（1）Rsync优点

• 增量备份，支持socket（daemon），集中备份（支持推拉，都是以客户端为参照物）。

• 远程SHELL通道模式还可以加密（SSH）传输，socket（daemon）需要加密传输，可以利用vpn服务或ipsec服务。

（2）Rsync缺点

• 大量小文件时候同步的时候，比对时间较长，有的时候，同步过程中，rsync进程可能会停止，僵死了。
• 同步大文件，10G这样的大文件有时也会出问题，中断。未完整同步前，是隐藏文件，可以通过续传（–partial）等参数实现传输 。
• 一次性远程拷贝可以用scp，大量小文件要打成一个包再拷贝。（重要）

3.3.Rsync服务端排错思路

• 查看rsync服务配置文件路径是否正确，正确的默认路径为：/etc/rsyncd.conf。
• 查看配置文件里host allow,host deny，允许的IP网段是否是允许客户端访问的ip网段。
• 查看配置文件中path参数里的路径是否存在，权限是否正确（正常应为配置文件中的UID参数对应的属主和组）。
• 查看rsync服务是否启动。查看命令为：ps -ef|grep rsync。端口是否存在netstat -antup |grep 873。
• 查看iptables防火墙和selinux是否开启允许rsync服务通过，也可以考虑关闭。
• 查看服务端rsync配置的密码文件是否为600的权限，密码文件格式是否正确，正确格式为：用户名：密码，文件路径和配置文件里的secrect files参数对应。

• 如果是推送数据，要查看下，配置rsyncd.conf文件中用户是否对模块下目录有可读写的权限。

3.4.Rsync客户端排错思路

• 查看客户端rsync配置的密码文件是否600的权限，密码文件格式是否正确，注意：仅需要有密码，并且和服务器端的密码保持一致。
• 用telnet连接rsync服务器ip地址873端口，查看服务是否启动（可测试服务端防火墙是否阻挡）telnet 192.168.197.129 873。
  置文件里的secrect files参数对应。

• 如果是推送数据，要查看下，配置rsyncd.conf文件中用户是否对模块下目录有可读写的权限。

3.4.Rsync客户端排错思路

• 查看客户端rsync配置的密码文件是否600的权限，密码文件格式是否正确，注意：仅需要有密码，并且和服务器端的密码保持一致。
• 用telnet连接rsync服务器ip地址873端口，查看服务是否启动（可测试服务端防火墙是否阻挡）telnet 192.168.197.129 873。

客户端执行命令时：rsync -avzP rsync_backup@192.168.197.129::backup /backup/ --password-file=/etc/rsync.password此命令的细节要记清楚，尤其192.168.197.129::backup 处的双冒号及其后的backup为模块名称。