大数据技术基础实验一:配置SSH免密登录

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 学校作业,大数据技术基础实验一详细过程

一、前言

这篇博客是用来记录大数据技术基础布置了实验作业,我们学校开设的大数据技术基础专业课需要进行各种实验操作,后续我也会更新我们的其他实验操作。

这个专栏不仅会更新实验操作也会更新有关大数据方面的知识总结。

还请得到大家的支持,谢谢大家!

二、实验要求

  1. 连接OpenVPN,能够通过Xshell成功ssh登录至分配到的3台服务器上
  2. 完成master到master、slave1-2的免密登录
  3. 完成slave1到master、slave2的免密登录
  4. 完成slave2到master、slave1的免密登录

每一步骤都需要上传截图并且需对截图实现的功能进行说明,第一步要求我们在上一篇博客中已经完成了,大家可以自行去看一下,我把博客的地址放在下面:

如何使用Xshell7连接学校虚拟机(保姆级)

OK,我们现在只需要完成后面几个步骤就行,他们的操作都差不多,废话不多说我们开始吧。

三、配置SSH免密登录

在实验中,我们需要从学校的集群中登录到Linux服务器上,而绝大多数Linux服务器采用的是SSH(Secure Shell)登录方式,因此,我们需要在实验室机器上安装一个SSH登录工具,我们所用的登录工具就是Xshell。

我们可以在master直接使用命令:ssh+IP地址连接登录其他的slave:

image-20220903002451634.png

然后退出的话直接使用命令:exit即可退出:

image-20220903002903809.png

但是很麻烦的是,下次再连接登录的时候又需要输入密码,因此我们需要进行配置来提高效率。

Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,每次切换都输入一次密码效率太低了,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。

以上就是我们为什么要配置SSH免密登录的重要原因,现在我们开始着手配置。

1、完成master到master、slave1-2的免密登录

  • 首先我们需要再master上生成自己的密钥,直接输入命令:ssh-keygen生成密钥:
    image-20220903003619678.png
  • 然后输入命令:cd .ssh/ 进入隐藏文件夹,找到id_rsa和id_rsa.pub两个文件,其中前者是私钥后者是公钥。
    image-20220903004044642.png
  • 然后通过命令:ssh-copy-id IP地址将其拷贝到slave1和slave2上面去,然后发现现在登录不需要密码了。

image-20220903004044642.png

  • 如果想直接使用命令:ssh slave1或者ssh slave2直接登录的话需要改变一下IP地址和主机命令的映射关系,使用命令:vim /etc/hosts,进入到hosts文件中,然后按I建进入编辑模式,添加slave1和slave2的两个IP地址,编辑完成之后按ESC键退出编辑,然后输入命令::wq保存并退出即可,然后再次输入命令:ssh slave1或者ssh slave2就可以直接连接了。
    image-20220903005324452.png

OK,到现在第一步的要求已经完成了,后续的两个要求跟这个类似,我就在后面直接放图片了,不再做过多的赘述。

2、完成slave1到master、slave2的免密登录

image-20220903010320970.png

3、完成slave2到master、slave1的免密登录

image-20220903010727769.png

四、最后我想说

本次的实验操作比较简单,相信大家很快就能掌握,我就不做更多的描述了。

后续我还需要去学习一下有关linux相关的命令操作了。

好啦本期的博客就到这里了,创作不易,期待你们的支持!


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4天前
|
存储 安全 测试技术
【超实用却暗藏杀机】sshpass:一键免密SSH登录的神器,为何生产环境却要敬而远之?探秘背后的安全隐患与替代方案!
【8月更文挑战第16天】sshpass 是一款便捷工具,可实现自动化SSH登录,简化脚本中的远程连接流程。通过后台自动处理密码输入,便于执行远程操作,如 `sshpass -p 'yourpassword' ssh user@remotehost`。也可结合更多SSH选项使用,例如指定私钥文件。然而,因需明文传递密码,存在较大安全隐患,不适于生产环境;推荐使用公钥认证以增强安全性。
15 4
|
4天前
|
网络安全 开发工具 git
拉取 gitee 代码,配置SSH,Please make sure you have the correct access rights
拉取 gitee 代码,配置SSH,Please make sure you have the correct access rights
10 1
|
7天前
|
Shell 网络安全 开发工具
Gerrit✨Gerrit服务器简介 与 配置SSH keys
Gerrit✨Gerrit服务器简介 与 配置SSH keys
|
9天前
|
消息中间件 监控 大数据
"探索Streaming技术:如何重塑大数据未来,实时处理引领数据价值即时转化新纪元"
【8月更文挑战第10天】信息技术高速发展,数据成为推动社会进步的关键。面对数据爆炸,高效实时处理成挑战。流处理(Streaming)技术应运而生,即时处理数据流,无需积累。应用于实时监控、日志分析等场景。例如,电商平台利用流处理分析用户行为,推送个性化推荐;智能交通系统预测拥堵。结合Apache Kafka和Flink,实现从数据收集到复杂流处理的全过程。流处理技术促进数据即时价值挖掘,与AI、云计算融合,引领大数据未来发展。
27 5
|
5天前
|
安全 Linux Shell
如何在 Linux 服务器上配置基于 SSH 密钥的身份验证
如何在 Linux 服务器上配置基于 SSH 密钥的身份验证
12 0
|
5天前
|
安全 Unix Shell
如何在 FreeBSD 服务器上配置基于 SSH 密钥的身份验证
如何在 FreeBSD 服务器上配置基于 SSH 密钥的身份验证
14 0
|
7天前
|
Linux 网络安全 数据安全/隐私保护
Linux——配置SSH免密登录
Linux——配置SSH免密登录
17 0
|
12天前
|
Linux 网络安全 数据安全/隐私保护
配置ssh免密登录
配置ssh免密登录
|
6天前
|
消息中间件 数据采集 JSON
大数据 - DWD&DIM 行为数据
大数据 - DWD&DIM 行为数据
19 1
|
13天前
|
机器学习/深度学习 人工智能 分布式计算
理解并利用大数据的力量:解锁数据背后的价值
【8月更文挑战第7天】大数据已成为推动社会进步和经济发展的重要力量。通过理解并利用大数据的力量,企业可以解锁数据背后的价值,优化业务流程、提升决策效率和创新能力。然而,大数据应用也面临着诸多挑战和风险,需要企业不断学习和实践以应对。相信在未来的发展中,大数据将为我们带来更多的惊喜和机遇。

热门文章

最新文章