集群分发脚本 xsync|学习笔记

简介: 快速学习 集群分发脚本 xsync

开发者学堂课程【Hadoop 快速入门:集群分发脚本 xsync】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1418


集群分发脚本 xsync


①以后要想改一个文件,可直接通过 xsync 形式来,xsync 直接跟上要同步的文件名称。

需求:循环复制文件到所有的相同目录下保证所有的数据都跟目录一样。

②在 home/atguigu/bin 这个目录下存放的脚本,这个脚本就是 xsync. #!/bin/bash  if 判断,如果输入的个数等于 0 ,中间输入 echo no args 直接返回,fname=basename $p1 是输出名称,echo  fname=$pdir 则是输出展示。

③_p 是进入到软连接,获取上级目录到绝对路径,,pdir=cd_p$(dirname $p1);pwd .

如果 cdsh 则进入到 sh 当前的工作,如果是 cd_p 的话,则直接进入到 base。

④循环:先看里面的内容,rsync_rvlpdir 是路径,主机是 hadoop$host .103 一次,104 一次。

atguigu 用户可以在系统任何地方直接执行,如果要改 pattern文件,102 上的pattern 文件发生变化,etc/hadoop 下面的文件发生变化,则直接 xsync 加上 con。

注意:如果将 xsync 放到 /home/atguigu/bin 目录下仍然不能实现全局使用,可以将 xsync 移动到 /usr/local/bin 目录下。

如果想放在目录下,可以通过 echo$path 查看,在任何地方执行脚本都是可以的。

相关文章
|
2月前
|
Java Linux 网络安全
NIFI在Linux服务区上的部署配置过程是什么?
【10月更文挑战第21天】NIFI在Linux服务区上的部署配置过程是什么?
48 2
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
122 2
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
Hadoop【部署 02】hadoop-3.1.3 单机版YARN(配置、启动停止shell脚本修改及服务验证)
134 0
|
7月前
|
消息中间件 Kafka Shell
Linux【脚本 02】shell脚本离线安装配置Zookeeper及Kafka并添加service服务和开机启动(脚本分析)
Linux【脚本 02】shell脚本离线安装配置Zookeeper及Kafka并添加service服务和开机启动(脚本分析)
94 0
|
安全
集群同步文件分发脚本编写
集群同步文件分发脚本编写
110 0
|
Linux 网络安全
linux安装zookeeper集群,包括集群启停脚本
#### 三台机器安装zookeeper集群 **注意事项:安装前三台机器一定要保证时钟同步** 说明: * 我这里是有3台服务器,分别hostname为node01、node02、node03。 * 三台机器已经配置好了ssh。 * zookeeper使用的是cdh5的zookeeper包,没有使用原生zookeeper项目的包。 * 三台机器已经进行了时钟同步。
270 0
linux安装zookeeper集群,包括集群启停脚本
|
分布式计算 资源调度 Hadoop
Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
ssh文件夹下(~/.ssh)的文件功能解释、ssh连接时出现Host key verification failed的解决方法、免密登录原理、将公钥拷贝到要免密登录的目标机器上、NameNode和SecondaryNameNode不要安装在同一台服务器、ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上、Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值、.
545 1
Hadoop运行模式(二)、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
|
分布式计算 大数据 Shell
Spark 集群搭建_分发和启动|学习笔记
快速学习 Spark 集群搭建_分发和启动
Spark 集群搭建_分发和启动|学习笔记
|
分布式计算 安全 Hadoop
Hadoop运行模式(一)、本地运行模式(官方WordCount)、完全分布式运行模式(开发重点)、scp安全拷贝、rsync 远程同步工具、xsync集群分发脚本、同步环境变量配置(root所有着)
Hadoop运行模式(一)、本地运行模式(官方WordCount)、完全分布式运行模式(开发重点)、scp安全拷贝、rsync 远程同步工具、xsync集群分发脚本、同步环境变量配置(root所有着)
Hadoop运行模式(一)、本地运行模式(官方WordCount)、完全分布式运行模式(开发重点)、scp安全拷贝、rsync 远程同步工具、xsync集群分发脚本、同步环境变量配置(root所有着)