部署Rsync服务器-差异化数据同步

本文涉及的产品
数据传输服务 DTS,同步至DuckDB 3个月
简介:

目录:
1.搭建Rsync服务器
2.客户端访问
3.同步备份数据脚本
Rsync(remote sync)是Unix及类Unix平台下一款神奇的数据镜像备份软件,她不像FTP或其他文件传输服务那样需要进行全备份,Rsync可以根据数据的变化进行差异备份,从而减少数据流量、提供工作效率。你可以使用她进行本地数据或远程数据的拷贝,Rsync可以使用SSH安全隧道进行加密数据传输。Rsync服务端定义源数据,Rsync客户端仅在源数据发生改变后才会从服务器上实际拷贝数据至本地,如果源数据被删除则客户端数据也会被删除以确保主机之间的数据是同步的。Rsync使用TCP 873端口。
1.搭建Rsync服务器
部署Rsync服务器需要创建一个配置文件,默认该文件不存在,然后使用守护进程模式启动rsync程序即可,下面我们将以图1-1为原型创建配置文件将/common发布给所有的客户端程序。因为Rsync是Andrew Tridgell (Samba的作者)与Paul Mackerras 合作开发的软件,所以Rsync配置文件与Samba比较相似。Rsync分为三个配置文件分别是:rsyncd.conf(主配置文件)、rsyncd.secrets(密码文件)、rsyncd.motd(服务器信息文件)。
 

rsync

                                 图1-1
 


 
 
  1. [root@centos6 ~]# yum -y install rsync 
  2. [root@centos6 ~]# mkdir /common; cp /etc/init.d/* /common/ 
  3. [root@centos6 ~]# vim /etc/rsync.conf 

 
 
  1. #/etc/rsyncd.conf 
  2. #设置服务器信息提示文件名称,在该文件中编写提示信息。 
  3. motd file = /etc/rsyncd.motd 
  4. #开启Rsync数据传输日志功能。 
  5. transfer logging = yes 
  6. #设置日志文件名称,可以通过log format参数设置日志格式。 
  7. log file = /var/log/rsyncd.log 
  8. #设置Rsync进程号保存文件名称。 
  9. pid file = /var/run/rsyncd.pid 
  10. #设置锁文件名称。 
  11. lock file = /var/run/rsync.lock 
  12. #设置服务器监听的端口号,默认为873。 
  13. port = 873 
  14. #设置服务器所监听网卡接口的IP地址,这里服务器IP地址为192.168.0.254。 
  15. address = 192.168.0.254 
  16. #设置进行数据传输时所使用的账户名称或ID号,默认使用nobody。 
  17. uid = nobody 
  18. #设置进行数据传输时所使用的组名称或GID号,默认使用nobody。 
  19. gid = nobody 
  20. #设置user chroot为yes后,rsync会首先进行chroot将根映射到path参数路径下,对客户 
  21. #端而言系统的根就是path参数所指定的路径。但这样做需要root权限,并且在同步符号 
  22. #连接资料时仅会同步名称,而内容将不会同步。 
  23. use chroot = no 
  24. #是否允许客户端上传数据,这里设置为只读。 
  25. read only = yes 
  26. #设置并发连接数,0代表无限制。超出并发数后,如果依然有客户端连接请求,则将会收 
  27. #到稍后重试的提示消息。 
  28. max connections = 10 
  29. #模块,Rsync通过模块定义同步的目录,模块以[name]的形式定义,这个跟Samba定义共 
  30. #享目录是一样的效果。在Rsync中也可以定义多个模块。 
  31. [common] 
  32. #comment定义注释说明字串。 
  33. comment = Web content 
  34. #同步目录的真实路径通过path指定。 
  35. path = /common 
  36. #忽略一些IO错误 
  37. ignore errors 
  38. #exclude可以指定例外的目录,即将common目录下的某个目录设置为不同步数据。 
  39. #exclude = test
  40. #设置允许连接服务器的账户,账户可以是系统中不存在的用户。 
  41. auth users = tom,jerry 
  42. #设置密码验证文件名称,注意该文件的权限要求为600,仅在设置auth users参数后有效。 
  43. secrets file = /etc/rsyncd.secrets 
  44. #设置允许哪些主机可以同步数据,可以是单个IP也可以是网段,多个IP与网段之间使用空 
  45. #格分割。 
  46. hosts allow=192.168.0.0/255.255.255.0 
  47. #设置拒绝所有(除hosts allow定义的主机外)。 
  48. hosts deny=* 
  49. #客户端请求显示模块列表是本模块名称是否显示。 
  50. list = false 

 
 
  1. [root@centos6 ~]# echo "tom:pass" > /etc/rsyncd.secrets 
  2. [root@centos6 ~]# echo "jerry:111" >> /etc/rsyncd.secrets 
  3. [root@centos6 ~]# chmod 600 /etc/rsyncd.secrets 
  4. [root@centos6 ~]# echo “welcome to access” >/etc/rsyncd.motd 
  5. [root@centos6 ~]# rsync --daemon 
  6. [root@centos6 ~]# echo “rsync --daemon” >> /etc/rc.local 
  7. [root@centos6 ~]# iptables -I INPUT -p tcp --dport 873 -j ACCEPT 

由于Rsync默认并不是开机启动项,如果需要设置Rsync为开机启动服务可以将rsync –daemon命令写入/etc/rc.local文件实现开启启动。
2.客户端同步数据
现在让我们开始同步数据吧,在客户端主机同样使用rsync命令就可以进行初始化数据传输,使用同样的程序但不需要--daemon选项。


 
 
  1. [root@centos6 ~]# yum -y install rsync 
  2. [root@centos6 ~]# rsync -vzrtopg --progress  tom@192.168.0.254::common /test 

rsync命令
描述:一个快速、多功能的远程(或本地)数据拷贝工具
用法:下表较全面地介绍了rsync的语法格式,SRC表示源路径,DEST表示目标路径

本地拷贝

rsync [选项] SRC… [DEST]

通过远程shell拷贝

下载数据

rsync [选项] [USER@]HOST:SRC... [DEST]

上传数据

rsync [选项] SRC… [USER@]HOST:DEST

通过rsync进程拷贝

下载数据

rsync [选项] [USER@]HOST::SRC... [DEST]

上传数据

rsync [选项] SRC… [USER@]HOST::DEST

选项:  -v,--verbose            显示详细信息
        -q,--quiet              静默模式,无错误信息
        -a,--archive            归档模式,主要保留文件属性,等同于-rlptgoD
        -r,--recursive          递归
        -b,--backup             如果目标路径已经存在同名文件时,将老的文件重命名为
~filename,可以使用--suffix指定不同的备份前缀
        --back-dir              将备份文件保存至指定目录
        --suffix                指定备份文件前缀
        -u,--update             如果目标地址中的文件比将要下载的文件更新则不执行同
步,也就是说不会用旧的文件覆盖新的文件
        -l,--links              保留符号连接
        -p,--perms              保留文件权限属性
        -H,--hard-links         保留硬连接
        -p,--perms              保留权限
        -A,--acls               保留ACL权限
        -X,--xattrs             保留文件附件属性
        -o,--owner              保留文件所有者属性
        -g,--group              保留文件所属组属性
        --devices               保留设备文件
        --specials              保留特殊文件
        -D                      等同于--devices --specials
        -t                      保留修改时间属性
        -W,--whole-file         不做增量检查,直接拷贝全部文件
        -e,--rsh=COMMAND        指定远程shell
        --existing              仅同步目标路径中已经有的文件,不下载源路径下新的文件
        --delete                删除那些仅在目标路径中存在的文件(源路径中不存在)
        -z,--compress           传输过程中对数据进行压缩
        --include=PATTERN       匹配不排除的文件
        --exclude=PATTERN       匹配需要排除的文件
        --progress              显示数据传输的进度信息
        --partial               保留因故障没有传输完成的文件
        -P                      等同于--progress --partial
        --password-file=FILE    指定密码文件,将密码写入文件,实现非交互式数据同步
        --list-only             仅列出服务器模块列表,需要rsync服务器设置list = true
实例:


 
 
  1. [root@centos6 ~]# rsync -t *.c foo:src/ 
  2. 将本机当前目录下的.c结尾的文件拷贝至foo主机的src目录下。 
  3. [root@centos6 ~]# rsync -avz foo:src/bar /data/tmp 
  4. 从foo主机上以递归方式将src/bar目录拷贝至本机/data/tmp目录。 
  5. [root@centos6 ~]# rsync -avz foo:src/bar/ /data/tmp 
  6. 从foo主机上以递归方式将src/bar目录下的所有内容拷贝至本机/data/tmp目录,但在/data/tmp目录下不会创建bar目录。 
  7. [root@centos6 ~]# rsync -avz /src/foo /dest 
  8. 将本机/src/foo目录拷贝至/dest目录。 
  9. [root@centos6 ~]# rsync -avz tom@192.168.0.254::common /test3 
  10. 使用tom账户连接远程192.168.0.254主机的rsync进程,将common模块定义的path路径下载至本地test3目录。 
  11. [root@centos6 ~]# rsync -avz 192.168.0.254::common /dest 
  12. 匿名下载192.168.0.254服务器的common模块至本地/dest目录。 
  13. [root@centos6 ~]# rsync --list-only tom@192.168.0.254:: 
  14. 显示192.168.0.254服务器所有的模块名称,需要服务端配置list = true才会显示。 
  15. [root@centos6 ~]# echo “pass” > rsync.pass 
  16. [root@centos6 ~]# rsync -avz --delete --password-file=rsync.pass 192.168.0.254::common /dest 


创建密码文件,使用密码文件进行非交互式数据同步。
如果客户端需要定期对Rsync服务器的数据进行备份,可以编写Shell脚本,通过计划任务实现数据的定期备份工作。下面的脚本为精简版数据备份脚本范例:


 
 
  1. [root@centos6 ~]# cat rsync_bak.sh 
  2. #!/bin/bash 
  3. #This script does backup through rsync. 
  4. #Date:2012-10-1 
  5. #Version:1.0 beta 
  6. export PATH=/bin:/usr/bin:/usr/local/bin 
  7. SRC=common 
  8. DEST=/data 
  9. Server=192.168.0.254 
  10. User=tom 
  11. #password file must not be other-accessible. 
  12. Passfile=/root/rsync.pass 
  13. #If the DEST directory not found, then create one. 
  14. [ ! -d $DEST ] && mkdir $DEST 
  15. [ ! -e $Passfile ] && exit 2 
  16. rsync -az --delete --password-file=$Passfile ${User}@${Server}::$SRC $DEST/$(date +%Y%m%d) 

 http://manual.blog.51cto.com/3300438/1172372 丁丁历险博客

















本文转自丁丁历险51CTO博客,原文链接: http://blog.51cto.com/manual/1172372,如需转载请自行联系原作者



相关实践学习
自建数据库迁移到云数据库
本场景将引导您将网站的自建数据库平滑迁移至云数据库RDS。通过使用RDS,您可以获得稳定、可靠和安全的企业级数据库服务,可以更加专注于发展核心业务,无需过多担心数据库的管理和维护。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
5月前
|
弹性计算 人工智能 前端开发
在阿里云ECS上部署n8n自动化工作流:U2实例实战
本文介绍如何在阿里云ECS的u2i/u2a实例上部署开源工作流自动化平台n8n,利用Docker快速搭建并配置定时任务,实现如每日抓取MuleRun新AI Agent并推送通知等自动化流程。内容涵盖环境准备、安全组设置、实战案例与优化建议,助力高效构建低维护成本的自动化系统。
1375 5
|
5月前
|
Java Linux Apache
在CentOS服务器上编译并部署NiFi源码
部署Apache NiFi在CentOS上是一个涉及细节的过程,需要注意Java环境、源码编译、配置调整等多个方面。遵循上述步骤,可以在CentOS服务器上成功部署和配置Apache NiFi,从而高效地处理和分发数据。
238 17
|
6月前
|
弹性计算 安全 Linux
使用阿里云服务器安装Z-Blog博客网站流程,新手一键部署教程
本教程教你如何在阿里云99元服务器上,通过宝塔Linux面板一键部署Z-Blog博客。基于CentOS 7.9系统,从远程连接、安装宝塔面板、开放端口到部署Z-Blog全流程详解,操作简单,新手也能轻松搭建个人博客网站。
708 13
|
6月前
|
弹性计算 Devops Shell
用阿里云 DevOps Flow 实现 ECS 部署自动化:从准备到落地的完整指南
阿里云 DevOps Flow 是一款助力开发者实现自动化部署的高效工具,支持代码流水线构建、测试与部署至ECS实例,显著提升交付效率与稳定性。本文详解如何通过 Flow 自动部署 Bash 脚本至 ECS,涵盖环境准备、流水线搭建、源码接入、部署流程设计及结果验证,助你快速上手云上自动化运维。
549 0
监控 安全 Linux
279 0
|
7月前
|
监控 Java Linux
Apache NiFi项目的编译与部署于CentOS服务器
总而言之,Apache NiFi的编译和部署虽然涉及多个步骤,但这些操作步骤简明扼要,即使是不太熟悉Java或Maven的用户也能跟随指南完成。通过遵循上述步骤,您将能够在CentOS服务器上成功部署Apache NiFi,为您的数据流处理任务建立一个功能强大的平台。
502 16
|
7月前
|
资源调度 负载均衡 JavaScript
使用PM2工具部署Vue.js应用于服务器
以上步骤完成之后,你就成功利⽤ PM⼆工具将 Vuejs 应⽰程序部署至服 务 器,并且配合反向代理实现了高效稳定访问及负载均衡功能。
290 0