开发者社区> xiaohei.info> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

使用rsync进行多服务器同步

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164 使用rsync进行多服务器同步 @(Others) 当集群数量很大时,修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。
+关注继续查看
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50549164

使用rsync进行多服务器同步

@(Others)


当集群数量很大时,修改配置文件和节点之间的文件同步是一件很麻烦且浪费时间的事情。

rsync是linux上实现不同机器之间文件同步、备份的工具,centos系统中默认已经安装,使用

rsync -h

检查是否已经安装rsync。

使用前提

确保各个节点部署的目录结构是一致的,不然同步起来很麻烦。

使用过程

在网上找到一大堆rsync的配置资料,然而使用起来不尽人意,对于初次使用rsync的人来说,各种配置显然太过复杂,需要一步步来熟悉。

所以这里不会对rsync的配置文件进行任何修改,仅仅使用rsync的命令进行同步操作。

需求

需要同步各个节点上的hadoop、hbase和spark的配置文件,其余目录/文件不需要同步。

exclude文件

在部署hadoop等父目录下,新建一个rsync-exclude.list文件,内容为不需要同步的目录/文件,每个目录/文件为一行

每行的内容不要留有空格或者制表符等,不然会导致无效!

在该目录下执行rsync命令:

sudo rsync -avz --exclude-from rsync-exclude.list ${需要同步的目录} ${目标节点ip/host}:${目标节点的目录}

-avz 表示传输过程中递归同步、显示详情并使用压缩。
–exclude-from 的参数为exclude文件目录。

注意,exclude文件中要使用相对路径,测试时使用绝对路径失败。

脚本实现多服务器同步

只需要一个简单的for循环即可实现:

#!/bin/bash
hosts=(host1 host2 host3 ...)
for host in ${hosts[@]}
do
sudo rsync -avz --exclude-from rsync-exclude.list ${需要同步的目录} $host:${目标节点的目录}
done

作者:@小黑

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
教你如何在云服务器上安装并配置web服务器(这里以nginx服务器为例,操作系统linux)
教你如何在云服务器上安装并配置web服务器(这里以nginx服务器为例,操作系统linux)
235 0
Linux(二)服务器运行环境配置(下)
Linux相信对大多数程序员来说都不陌生,毕竟在服务器端依然还是霸主地位而且丝毫没有退居二线的意思,以至于现在几乎每一个软件开发的相关人员都得或多或少的知道一些Linux的相关内容,本文将介绍如何在刚拿到一台云服务器(采用centos)来进行运行环境的搭建,包括JDK、Mysql、Tomcat以及nginx。相信对于小白来说很有必要的,也是我个人的一个记录。
33 0
Linux(二)服务器运行环境配置(上)
Linux相信对大多数程序员来说都不陌生,毕竟在服务器端依然还是霸主地位而且丝毫没有退居二线的意思,以至于现在几乎每一个软件开发的相关人员都得或多或少的知道一些Linux的相关内容,本文将介绍如何在刚拿到一台云服务器(采用centos)来进行运行环境的搭建,包括JDK、Mysql、Tomcat以及nginx。相信对于小白来说很有必要的,也是我个人的一个记录。
53 0
J3
Java 开发 Linux 服务器常用软件安装,保姆教程
Java 开发 Linux 服务器常用软件安装,保姆教程
67 0
Xshell如何远程连接Linux服务器
Xshell如何远程连接Linux服务器
41 0
使用ping6检查LINUX服务器是否支持IPV6
苹果上架,现在IPV6是必备条件。前几天为其他公司服务器出的版本被拒之后,吾决定先用吾司服务器上架再说。感觉吾司服务器是支持IPV6的。 那么,吾司服务器是不是真的支持IPV6?于是上网查了一下,边学习边记录,希望给后来的朋友带来方便:
141 0
你知道如何在Linux服务器上挂载新硬盘吗?冰河为你揭开这个秘密
Linux的硬盘识别: 一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘 设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.
68 0
Hive 勒索软件新变体:用 Go 语言编写|现在专门以 Linux 服务器和 FreeBSD 作为攻击目标
Hive 勒索软件新变体:用 Go 语言编写|现在专门以 Linux 服务器和 FreeBSD 作为攻击目标
117 0
如何从Web浏览器远程监视Linux服务器和桌面
当你要监视一台Linux机器时,你会有很多的选择。虽然现在有很多产品质量监控方案(比如 Nagios、 Zabbix、 Zenoss),它们拥有华丽的UI,可扩展监控,易于理解的报告等等,这些方案对于大多数终端用户都太过于强大了。如果你只需检查Linux服务器或桌面的基本状态(比如,CPU负载、内存使用、活跃进程),就请考虑一下linux-dash。
137 0
利用linux搭建我的世界服务器
一直想陪同学联机玩我的世界,看到能白嫖我就来了
369 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Spring Boot2.0实战Redis分布式缓存
立即下载
AliHB Real Time Cold data Backup
立即下载
挑战双11实时数据洪峰的流计算实践
立即下载