使用rsync进行多服务器同步

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164 使用rsync进行多服务器同步@(Others)当集群数量很大时,修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164

使用rsync进行多服务器同步

@(Others)


当集群数量很大时,修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。

rsync是linux上实现不同机器之间文件同步、备份的工具,centos系统中默认已经安装,使用

rsync -h

检查是否已经安装rsync。

使用前提

确保各个节点部署的目录结构是一致的,不然同步起来很麻烦。

使用过程

在网上找到一大堆rsync的配置资料,然而使用起来不尽人意,对于初次使用rsync的人来说,各种配置显然太过复杂,需要一步步来熟悉。

所以这里不会对rsync的配置文件进行任何修改,仅仅使用rsync的命令进行同步操作。

需求

需要同步各个节点上的hadoop、hbase和spark的配置文件,其余目录/文件不需要同步。

exclude文件

在部署hadoop等父目录下,新建一个rsync-exclude.list文件,内容为不需要同步的目录/文件,每个目录/文件为一行

每行的内容不要留有空格或者制表符等,不然会导致无效!

在该目录下执行rsync命令:

sudo rsync -avz --exclude-from rsync-exclude.list ${需要同步的目录} ${目标节点ip/host}:${目标节点的目录}

-avz 表示传输过程中递归同步、显示详情并使用压缩。
–exclude-from 的参数为exclude文件目录。

注意,exclude文件中要使用相对路径,测试时使用绝对路径失败。

脚本实现多服务器同步

只需要一个简单的for循环即可实现:

#!/bin/bash
hosts=(host1 host2 host3 ...)
for host in ${hosts[@]}
do
sudo rsync -avz --exclude-from rsync-exclude.list ${需要同步的目录} $host:${目标节点的目录}
done

作者:@小黑

相关文章
|
6月前
|
定位技术
GPS北斗卫星同步时钟(时间同步服务器)建设施工部署方案
GPS北斗卫星同步时钟(时间同步服务器)建设施工部署方案
GPS北斗卫星同步时钟(时间同步服务器)建设施工部署方案
|
3月前
|
PHP
PHP遍历文件并同步上传到服务器
在进行网站迁移时,由于原网站的图片文件过多,采用打包下载再上传的方式耗时过长,且尝试使用FTP工具从旧服务器传输至新服务器时失败。为解决此问题,特使用PHP编写了一款工具,该工具能扫描指定目录下的所有`.webp`图像文件,并将其上传至新的服务器,极大地提高了迁移效率。
103 16
|
3月前
|
存储 Ubuntu Linux
如何在服务器之间同步文件?
如何在服务器之间同步文件?
93 3
|
3月前
|
Linux
Linux——服务器时间不同步
Linux——服务器时间不同步
47 0
|
5月前
|
存储 运维 数据挖掘
服务器数据恢复—raid5热备盘同步失败导致阵列崩溃的数据恢复案例
某品牌DS5300存储,包含一个存储机头和多个磁盘柜,组建了多组RAID5磁盘阵列。 某个磁盘柜中的一组RAID5阵列由15块数据盘和1块热备硬盘组建。该磁盘柜中的某块硬盘离线,热备盘自动替换并开始同步数据,在热备硬盘同步数据的过程中,又有一块硬盘出现问题离线,数据同步失败,该RAID5阵列失效,卷无法挂载访问。
|
4月前
|
JavaScript API
前后端数据交互.js文件的axios的写法,想要往后端发送数据,页面注入API,await的意思是同步等待服务器数据,并返回,axios注入在其他页面,其他页面调用的时候,同步作用
前后端数据交互.js文件的axios的写法,想要往后端发送数据,页面注入API,await的意思是同步等待服务器数据,并返回,axios注入在其他页面,其他页面调用的时候,同步作用
|
4月前
|
缓存 Linux 开发工具
centos设置ntp服务同步目标服务器时间
【7 月更文挑战第 1天】linux+centos设置ntp服务同步目标服务器时间
|
6月前
|
Linux 数据库
ntp如何配置同步服务器
【5月更文挑战第19天】ntp如何配置同步服务器
187 2
|
6月前
|
Linux 数据库
ntp如何配置同步服务器
【5月更文挑战第24天】ntp如何配置同步服务器
194 0
|
6月前
|
Linux
winscp文件增量同步到linux服务器
winscp文件增量同步到linux服务器
161 9