分布式集群环境之域名映射与免密码登录

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
.cn 域名,1个 12个月
简介: 分布式集群环境之域名映射与免密码登录

0x00 教程内容


  1. 当前集群说明及目标
  2. 集群域名映射配置
  3. 集群免密码登录配置

0x01 当前集群说明及目标


1. 当前分布式集群说明

a. 目前已经克隆好了三台主机,除了hostname与ip,其他均一致

b. 全部均已经新建好hadoop-sny用户,密码是shaonaiyi

c. 全部俊已经配置好了NAT网络环境,ip分别为:


主机master的ip:192.168.128.131

主机slave1的ip:192.168.128.132

主机slave2的ip:192.168.128.133


d. 每台主机(主机又称为服务器)可以互相ping通,可以上外网


2. 当前集群目标说明

a. 配置好三台服务器的域名映射

意义:可以用用户名代替长长的ip地址,有利于操作和以后集群的迁移、运维等等

b. 配置好三台服务器可以免密码登录到对方

意义:以后的大数据环境需要用到,不然无法操作


0x02 集群域名映射配置


1. 域名映射

a. 编辑文件hosts并添加映射内容(三台服务器均需要操作

sudo vi /etc/hosts

192.168.128.131 master
192.168.128.132 slave1
192.168.128.133 slave2


image.png


b. 查看一遍是否添加成功(三台服务器均可以操作一下

cat /etc/hosts


image.png


2. 校验域名映射

a. 每台机器都跑一下下面三个指令,即用用户名代替了ip地址,一般不会出问题的)

ping master

ping slave1

ping slave2


image.png


0x03 集群免密码登录配置


1. 生成三台服务器的秘钥

a. 生成服务器密钥(输入指令后,连按三次回车

ssh-keygen

PS:三台机器均需要操作,注意本教程是用hadoop-sny用户操作


image.png


2. 配置公钥到authorized_keys文件

a. master上执行(将公钥id_rsa.pub写入到authorized_keys文件)


说明:生成的秘钥默认是在~/.ssh目录下,该目录下有公钥与私钥,我们将公钥写到authorized_keys中,相当于一个钥匙袋的功能,等一下要聚合slave1、slave2的钥匙到此处。


cd ~/.ssh

cat id_rsa.pub >> authorized_keys


image.png


b. slave1上执行(将公钥id_rsa.pub写入到authorized_keys1文件)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys1


c. 将slave1的authorized_keys1文件拷贝到master节点的~/.ssh目录(如没有scp指令,master、slave1、slave2均执行yum install -y openssh-clients安装)

scp authorized_keys1 hadoop-sny@master:~/.ssh/

PS:第一次用scp指令需要输入密码,输入yes,然后输入master的hadoop-sny用户的密码:shaonaiyi即可显示拷贝成功!输入错就再输入一遍哈哈哈~


image.png


d. slave2上执行(将公钥id_rsa.pub写入到authorized_keys2文件)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys2


e. 将slave2的authorized_keys2文件拷贝到master节点的~/.ssh目录

scp authorized_keys2 hadoop-sny@master:~/.ssh/


3. 聚合三台服务器的公钥到authorized_keys文件

a. 此时回到master查看,发现~/.ssh目录已经有三台服务器的公钥了,但是还没有聚合


image.png


b. 聚合公钥(其实就是把slave1、slave2的放到钥匙袋,目前master的已经在了)

cat authorized_keys1 >> authorized_keys

cat authorized_keys2 >> authorized_keys

c. 查看authorized_keys文件,发现有三台服务器的公钥了

cat authorized_keys


image.png


4. 分发钥匙袋到slave1、slave2服务器

a. 钥匙袋即authorized_keys文件

scp authorized_keys hadoop-sny@slave1:~/.ssh/

scp authorized_keys hadoop-sny@slave2:~/.ssh/


5. 校验免密码登录

a. 三台服务器均执行下面几句话:

ssh master

exit

ssh slave1

exit

ssh slave2

exit


image.png


PS:如果不用输入密码也能登录进彼此就说明成功了!

b. 注意:

一定要在测试完后要用exit退出回到之前的账号,不然可能会自己忘记了,没退出,导致之后操作的内容是在别的服务器操作的。

c. 提示:

一定要三台机器都测试,而且是这样的格式:ssh 用户名,不然后面用Hadoop等的使用过程中会出现要输入密码的情况。



0xFF 总结


为了方便,可以自己写一个校验校验的脚本,脚本可以参考教程:D002 复制粘贴玩大数据之便捷配置 的 0x03 编写查看各节点进程脚本 1. jps_all.sh脚本

域名映射与免密码登录,是学习大数据的基础。

a. 如果觉得大数据环境太复杂,可以参考本专栏:复制粘贴玩转大数据系列专栏,学习用Docker搭建大数据环境。

b. 如果基础好的话,可以直接学习此篇文章:

D012 复制粘贴玩大数据之Dockerfile安装Kafka集群

半个小时搭建好已经装好了hadoop、spark、zookeeper、hbase、hive、flume、kafka等的大数据环境!


相关文章
|
29天前
|
存储 Kubernetes 数据安全/隐私保护
k8s对接ceph集群的分布式文件系统CephFS
文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储,包括通过secretFile和secretRef两种方式进行认证和配置。
31 5
|
2月前
|
存储 NoSQL 算法
MongoDB保姆级指南(中):从副本集群、分片集群起航,探索分布式存储的趋势!
本文一起来聊聊MongoDB集群,顺带以MongoDB集群为起点,共同探讨一下分布式存储的发展趋势~
108 15
|
29天前
|
分布式计算 资源调度 Hadoop
在YARN集群上运行部署MapReduce分布式计算框架
主要介绍了如何在YARN集群上配置和运行MapReduce分布式计算框架,包括准备数据、运行MapReduce任务、查看任务日志,并启动HistoryServer服务以便于日志查看。
37 0
|
3月前
|
存储 缓存 NoSQL
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
高并发架构设计三大利器:缓存、限流和降级问题之Redis用于搭建分布式缓存集群问题如何解决
|
2月前
|
存储 算法 NoSQL
(三)漫谈分布式之集群篇:探寻N个9高可用与PB级数据存储的实现原理!
本文来详细聊聊集群的各方面知识,为诸位量身打造出结构化的集群知识体系。
|
3月前
|
并行计算 前端开发 Serverless
函数计算产品使用问题之如何将一个域名的不同路径或方法映射到不同的函数计算服务上
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
消息中间件 缓存 监控
如何设计一个秒杀系统,(高并发高可用分布式集群)
【7月更文挑战第4天】设计一个高并发、高可用的分布式秒杀系统是一个非常具有挑战性的任务,需要从架构、数据库、缓存、并发控制、降级限流等多个维度进行考虑。
94 1
|
3月前
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
分布式篇问题之集群(Cluster)模式主控节点的高可用性问题如何解决
|
2月前
|
NoSQL Redis
基于Redis的高可用分布式锁——RedLock
这篇文章介绍了基于Redis的高可用分布式锁RedLock的概念、工作流程、获取和释放锁的方法,以及RedLock相比单机锁在高可用性上的优势,同时指出了其在某些特殊场景下的不足,并提到了ZooKeeper作为另一种实现分布式锁的方案。
73 2
基于Redis的高可用分布式锁——RedLock
|
2月前
|
缓存 NoSQL Java
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】
这篇文章是关于如何在SpringBoot应用中整合Redis并处理分布式场景下的缓存问题,包括缓存穿透、缓存雪崩和缓存击穿。文章详细讨论了在分布式情况下如何添加分布式锁来解决缓存击穿问题,提供了加锁和解锁的实现过程,并展示了使用JMeter进行压力测试来验证锁机制有效性的方法。
SpringBoot整合Redis、以及缓存穿透、缓存雪崩、缓存击穿的理解分布式情况下如何添加分布式锁 【续篇】

热门文章

最新文章