Rsync企业实战之异地自动化备份

简介:

认真的测试过网上的大多数文章和版本,真正能一次性测试通过的文章太少了,需要反复的推敲,反复的查阅资料,才能真正的测试成功,所以,在此背景下,总结了Rsync,加上自己的理解分享出来;

1、 原理篇

Rsync, 故名思议,是一个远程数据同步工具,可以镜像整个目录树和文件系统,也可以保持源文件的权限,时间和软硬链接,可以优化数据,文件重复数据的删除,也可以 在LAN/WAN之间快速的同步多台主机的数据,这主要得益于Rsync的压缩和Rsync的核心算法,其算法,是本地和远程两台主机之间的文件达到同步 并保持一致,并且只传送两个文件的不同部分,而不是整个数据进行传送,所以,速度非常快;

一个Rsync server能够同时备份多个客户端数据,也可以一个客户端备份多个Rsync server的数据;

Rsync 支持搭配scp,ssh和daemon模式,默认端口是873,当第一次连接的时候,会对数据进行完整备份,之后的所有备份,都是进行增量备份,只备份又变化的数据;

Rsync只支持单向备份,不支持双向,如果需要双向同步的,可以使用Unison;如果需要实时同步的,可以结合Rsync+inotify;

Rsync服务以只读方式提供要备份的数据,避免破坏生产环境的数据;


在这里,有必要对Rsync的核心算法,进行讲解:

假定在名为 α 和 β 的两台计算机之间同步相似的文件 A 与 B,其中 α 对文件A拥有访问权,β 对文件 B 拥有访问权。并且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将通过下面的五个步骤来完成:

β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。   
β 对每一个分割好的数据块执行两种校验:一种是32位的滚动弱校验,另一种是128位的 MD4 强校验。    
β 将这些校验结果发给 α。    
α 通过搜索文件 A 的所有大小为 S 的数据块(偏移量可以任选,不一定非要是 S 的倍数),来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。    
α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

Rsync适用于linux、solaris和bsd,在windows平台下,有cwRsync。

本文,将以Linux的Rsync和以window的cwRsync为例讲解。

2、 Rsync服务端

2.1、 安装

源码安装

下载rsync服务端程序,

tar zxvf rsync-2.6.9.tar.gz

cd rsync-2.6.9

./configure --prefix=/usr/local/rsync

make

make install

rpm安装

yum install rsync

本文以yum来安装

2.2、 服务器运行模式

模式选择

对于负载比较重的,选择独立服务启动

对于负载比较轻的,选择以xinet.d启动,选择此模式,记得要安装xinet.d (yum install xinet.d)

独立运行模式

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf (本例选择此方法)

如果需要系统开机启动,可以把上面命令加入到/etc/rc.local文件中。

2.3、 服务器配置

创建配置文件和口令文件

touch /etc/rsyncd.conf 主要配置文件

touch /etc/rsync.pas 口令文件,此文件需要注意客户端和服务器端的格式,后续会讲解

关于配置文件rsyncd.conf讲解

Rsync的配置文件,分为两个部分,全局配置和模块配置,

#全局设置

uid = root 指定模块以root用户来传输文件,如果匿名用户的话,这里填写nobody

gid = root 指定模块以root用户组来传输文件,如果匿名传输的话,这里填写nobody

use chroot = yes 设置为YES,表示在传输文件之前,定位到根目录下,即PATH指定的目录,这样做,主要是出于安全考虑

pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件

lock file = /var/run/rsync.lock 指定支持max connections的锁文件

log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件,而不是传送给syslog

#模块设置

[Jindie] 模块名称,后续上传下载文件配置时,直接使用此名称名来指定

path = /sda1/JDdatabase 指定此模块的根目录,即文件上传下载都是在此目录下进行

ignore errors 指定在 rsync 服务器上运行 delete 操作时是否忽略 I/O 错误

read only = false 指定是否允许上传,false代表允许上传。

write only = false 指定是否允许下载,false代表允许下载。

list = true 指定当客户请求列出可以使用的模块,该模块是否被列出。如果false,可以创建隐藏的模块。

hosts allow = 192.168.1.65 指定哪些客户端可以访问连接此模块,可以指定单个IP,整个网段,比如此例为单个IP

hosts deny = 0.0.0.0/0 指定哪些客户端不允许连接此模块,此例为0.0.0.0/0网段,代表整个网络

通常表示客户端表示方式,有如下:

单个IP:192.168.1.65

网段IP:192.168.1.0/24

可解析的主机地址:www.baidu.com

域内主机:*.wine9.com

所有主机:*

多个列表项,要用空格隔开;

auth users = xy 指定认证用户名,通常由空格或者逗号分隔用户名列表,只有这些用户可以连接此模块,用户名和密码,以明文形式,保存在口令文件中

syslog facility = local5 指定日志等级,一般指发送给rsyslog的日志等级;

secrets file = /etc/rsync.pas 指定Rsync认证口令文件,只有配置了auth users,此配置才生效,这里要注意客户端和服 务器端的配置格式。

ignore nonreadable 指定 rysnc 服务器完全忽略那些用户没有访问权限的文件,这对于在需要备份的目录中有些不应该被备份者获取的文件时非常有意义

timeout 600 设置客户端连接超时时间,确保服务器不会永远等待一个奔溃的客户端。

dont compress=*.gz 指定哪些文件在传输之前,不需要进行压缩的文件。

max connections = 4 指定此模块最大的并发连接数为4,超过的告知随后再试

exclude指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。

Exclude from指定一个包含 exclude 规则定义的文件名,服务器从该文件中读取 exclude 列表定义

include指定多个由空格隔开的多个文件或目录(相对路径),并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式

Include from指定一个包含 include 规则定义的文件名,服务器从该文件中读取 include 列表定义

2.4、 建立Rsync口令文件

创建口令文件

touch /etc/rsync.pas #口令文件,保存Rsync用户和密码验证信息,不需要是系统账号;

vi /etc/rsync.pas

xy:abc123 #格式为 用户名:口令,此账号不用是系统账号

clip_image002

注意与后面的客户端口令文件的格式进行比较,相较两者不同点,这一点,有很多童鞋容易弄错了,重要的事情说三遍,注意格式,注意格式,注意格式。

2.5、 口令文件权限

口令文件,需要设置口令文件权限,这一步同样非常重要,Rsync对权限的要求还是比较敏感的。

#chown root:root /etc/rsync.pas #root:root 指的是当前启动此服务的用户,并设置为属主

#chmod 600 /etc/rsync.pas #指定启动此Rsync服务的用户的权限为只读权限,也就是前面提到的属主的权限。

3、 Rsync客户端

客户端本例,选择windows的cwrsync工具,安装不用多说。

3.1、 创建口令文件

新建rsync.pas文件,添加内如如下:

因为我使用的用户名是xy,此设置的密码,必须跟服务器端rsync.pas口令文件中设置的密码一样,比如本例口令为abc123;

那么,本例中设置为:

abc123

clip_image004

3.2、 口令文件权限

windows 口令文件的权限一定要设置正确,否则验证无法通过,应将口令文件c:\rsync.pas的权限加入系统登录的账号读取权限以及设置其为该文件的所有者 (这里跟服务器端有点不同,正常来说,无论windows还是liunx,服务器端的这个用户名,应该是启动Rsync服务的用户名,但是对于 windows客户端来说,一般都是系统登录账号)

定位到cwRsync客户端安装目录,C:\Program Files (x86)\cwRsync\bin

chmod 600 /cygdrive/c/rsync.pas

chown administrator /cygdrive/c/rsync.pas #如果没有chown.exe文件,可以从服务器端的安装目录的bin目录下直接复制过来就可以使用,

注:Rsync对路径的书写格式,与windows不同,它是遵循,postfix书写格式,

3.3、 同步文件

Rsync同步的六种格式

当Rsync已经做好服务器端和客户端的配置之后,接下来就是通过Rsync命令,像服务器发起命令请求,来完成文件的同步操作,Rsync的功能非常强大,提供了六种格式,来支持Rsync的六种工作方式;

rsync [OPTION]... SRC DEST   
rsync [OPTION]... SRC [USER@]HOST:DEST    
rsync [OPTION]... [USER@]HOST:SRC DEST    
rsync [OPTION]... [USER@]HOST::SRC DEST    
rsync [OPTION]... SRC [USER@]HOST::DEST    
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

对于以上六种命令格式,

1) rsync [OPTION]... SRC DEST

拷贝本地文件,当SRC和DEST路径信息都不包含有单个冒号“:“,就启动此工作模式,

rsync.exe –vzrtopg /data /backup

2) rsync [OPTION]... SRC [USER@]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src

3) rsync [OPTION]... [USER@]HOST:SRC DEST   
使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data

4) rsync [OPTION]... [USER@]HOST::SRC DEST   
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@172.16.78.192::www /databack,其中www是在rsync配置文件中,指定的模块的名称。

5) rsync [OPTION]... SRC [USER@]HOST::DEST   
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@172.16.78.192::www,其中www是在rsync配置文件中,指定的模块的名称。

6) rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]   
列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www

上传同步文件

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas

解释:

rsync.exe 即rsync命令

vzrtopg 指定参数,传输的详细信息;

--delete 删除哪些在DST中存在,而SRC中没有存在的文件或者目录

/cygdrive/c/test/*.txt 注意这里的格式,不能使用windows的格式,必须使用POSTFIX标准格式;

xy@192.168.31.13::Jindie xy是有权访问服务器的用户名,192.168.31.13是服务器地址,Jindie是服务器端配置文件中指定的模块,这个模块中指定用户信息和同步路径;服务器地址和模块之间,用两个冒号隔开。

--password-file=/cygdrive/c/rsync.pas 口令文件,当中含有xy账号的密码,要与服务器端配置文件rsyncd.conf中指定的口令文件中设置的密码相同。

下载同步文件

rsync.exe -vzrtopg --progress --delete xy@192.168.31.13::Jindie /cygdrive/c/test --password-file=/cygdrive/c/rsync.pas

通常,因为上传和下载的方向性不同,直接调换源文件路径和目标地址的路径,即可。

4、 定时同步备份

把上面的命令写入到批处理器文件中,比如test.bat,通过任务计划来实现定时备份。

C:\Program Files (x86)\cwRsync\bin

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas

复制上面命令,保存到test.bat文件中,

开始 -- 所有程序-- 附件--系统工具--任务计划程序

展开 任务计划程序库--Microsoft,右击 “创建基本任务“

clip_image006

创建基本任务向导,输入 ”名称”

clip_image008

点击 “下一步”

clip_image010

任务触发器,根据实际需要,设置每日,每周,每月同步,这里,我选择每日备份,可以减少带宽压力。

clip_image012

设置,每日启动的时间,这里设置每日,凌晨1点,点击 “下一步”

clip_image014

选择 “启动程序“

clip_image016

浏览,选择 脚本文件

clip_image018

点击 “完成 ”

到此,部署,已经全部完成。



本文转自 dengaosky 51CTO博客,原文链接:http://blog.51cto.com/dengaosky/1852306,如需转载请自行联系原作者

相关文章
|
2月前
|
人工智能 自然语言处理 数据挖掘
企业数字化转型的关键:如何利用OA系统实现自动化与智能决策
在数字化时代,传统办公系统已无法满足现代企业的需求。通过将RPA(机器人流程自动化)和AI(人工智能)技术与OA系统结合,企业能实现业务流程自动化、智能决策支持,大幅提升工作效率和资源配置优化,推动数字化转型。RPA可自动处理重复任务,如审批、数据同步等;AI则提供智能数据分析、预测和决策支持,两者协同作用,助力财务管理、人力资源管理、项目管理和客户服务等多个领域实现智能化升级。未来,智能化OA系统将进一步提升个性化服务、数据安全和协作能力,成为企业发展的关键驱动力。
|
5月前
|
运维 应用服务中间件 持续交付
自动化运维的利器:Ansible实战应用
【9月更文挑战第33天】本文将带你深入理解Ansible,一个强大的自动化运维工具。我们将从基础概念开始,逐步探索其配置管理、任务调度等功能,并通过实际案例演示其在自动化部署和批量操作中的应用。文章旨在通过浅显易懂的语言和实例,为读者揭开Ansible的神秘面纱,展示其在简化运维工作中的强大能力。
227 64
|
5天前
|
机器学习/深度学习 设计模式 测试技术
Python 高级编程与实战:构建自动化测试框架
本文深入探讨了Python中的自动化测试框架,包括unittest、pytest和nose2,并通过实战项目帮助读者掌握这些技术。文中详细介绍了各框架的基本用法和示例代码,助力开发者快速验证代码正确性,减少手动测试工作量。学习资源推荐包括Python官方文档及Real Python等网站。
|
15天前
|
SQL JSON 数据可视化
基于 DIFY 的自动化数据分析实战
本文介绍如何使用DIFY搭建数据分析自动化流程,实现从输入需求到查询数据库、LLM分析再到可视化输出的全流程。基于经典的employees数据集和DIFY云端环境,通过LLM-SQL解析、SQL执行、LLM数据分析及ECharts可视化等模块,高效完成数据分析任务。此方案适用于人力资源分析、薪酬管理等数据密集型业务,显著提升效率并降低成本。
1276 8
|
6月前
|
运维 安全 应用服务中间件
自动化运维的利剑:Ansible实战应用
【9月更文挑战第24天】在现代IT基础设施的快速迭代与扩展中,自动化运维成为提升效率、保障稳定性的关键。本文将深入探讨Ansible这一流行的自动化工具,通过实际案例分析其如何简化日常运维任务,优化工作流程,并提高系统的可靠性和安全性。我们将从Ansible的基础概念入手,逐步深入到高级应用技巧,旨在为读者提供一套完整的Ansible应用解决方案。
|
4月前
|
人工智能 供应链 安全
企业秘密泄露风险加剧,自动化管理成关键
企业秘密泄露风险加剧,自动化管理成关键
|
4月前
|
运维 监控 应用服务中间件
自动化运维的利器:Ansible实战应用
【10月更文挑战第41天】在现代IT运维领域,自动化已成为提高效率、减少错误的关键。Ansible作为一种简单而强大的自动化工具,正被越来越多的企业采纳。本文将通过实际案例,展示如何使用Ansible简化日常运维任务,包括配置管理和批量部署等,旨在为读者提供一种清晰、易懂的自动化解决方案。
66 1
|
4月前
|
运维 Ubuntu 应用服务中间件
自动化运维工具Ansible的实战应用
【10月更文挑战第36天】在现代IT基础设施管理中,自动化运维已成为提升效率、减少人为错误的关键手段。本文通过介绍Ansible这一流行的自动化工具,旨在揭示其在简化日常运维任务中的实际应用价值。文章将围绕Ansible的核心概念、安装配置以及具体使用案例展开,帮助读者构建起自动化运维的初步认识,并激发对更深入内容的学习兴趣。
118 4
|
4月前
|
前端开发 数据管理 测试技术
前端自动化测试:Jest与Cypress的实战应用与最佳实践
【10月更文挑战第27天】本文介绍了前端自动化测试中Jest和Cypress的实战应用与最佳实践。Jest适合React应用的单元测试和快照测试,Cypress则擅长端到端测试,模拟用户交互。通过结合使用这两种工具,可以有效提升代码质量和开发效率。最佳实践包括单元测试与集成测试结合、快照测试、并行执行、代码覆盖率分析、测试环境管理和测试数据管理。
152 2
|
4月前
|
前端开发 JavaScript 数据可视化
前端自动化测试:Jest与Cypress的实战应用与最佳实践
【10月更文挑战第26天】前端自动化测试在现代软件开发中至关重要,Jest和Cypress分别是单元测试和端到端测试的流行工具。本文通过解答一系列问题,介绍Jest与Cypress的实战应用与最佳实践,帮助开发者提高测试效率和代码质量。
95 2

热门文章

最新文章