大数据技术基础实验一:配置SSH免密登录

简介: 学校作业,大数据技术基础实验一详细过程

一、前言

这篇博客是用来记录大数据技术基础布置了实验作业,我们学校开设的大数据技术基础专业课需要进行各种实验操作,后续我也会更新我们的其他实验操作。

这个专栏不仅会更新实验操作也会更新有关大数据方面的知识总结。

还请得到大家的支持,谢谢大家!

二、实验要求

  1. 连接OpenVPN,能够通过Xshell成功ssh登录至分配到的3台服务器上
  2. 完成master到master、slave1-2的免密登录
  3. 完成slave1到master、slave2的免密登录
  4. 完成slave2到master、slave1的免密登录

每一步骤都需要上传截图并且需对截图实现的功能进行说明,第一步要求我们在上一篇博客中已经完成了,大家可以自行去看一下,我把博客的地址放在下面:

如何使用Xshell7连接学校虚拟机(保姆级)

OK,我们现在只需要完成后面几个步骤就行,他们的操作都差不多,废话不多说我们开始吧。

三、配置SSH免密登录

在实验中,我们需要从学校的集群中登录到Linux服务器上,而绝大多数Linux服务器采用的是SSH(Secure Shell)登录方式,因此,我们需要在实验室机器上安装一个SSH登录工具,我们所用的登录工具就是Xshell。

我们可以在master直接使用命令:ssh+IP地址连接登录其他的slave:

image-20220903002451634.png

然后退出的话直接使用命令:exit即可退出:

image-20220903002903809.png

但是很麻烦的是,下次再连接登录的时候又需要输入密码,因此我们需要进行配置来提高效率。

Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,每次切换都输入一次密码效率太低了,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。

以上就是我们为什么要配置SSH免密登录的重要原因,现在我们开始着手配置。

1、完成master到master、slave1-2的免密登录

  • 首先我们需要再master上生成自己的密钥,直接输入命令:ssh-keygen生成密钥:
    image-20220903003619678.png
  • 然后输入命令:cd .ssh/ 进入隐藏文件夹,找到id_rsa和id_rsa.pub两个文件,其中前者是私钥后者是公钥。
    image-20220903004044642.png
  • 然后通过命令:ssh-copy-id IP地址将其拷贝到slave1和slave2上面去,然后发现现在登录不需要密码了。

image-20220903004044642.png

  • 如果想直接使用命令:ssh slave1或者ssh slave2直接登录的话需要改变一下IP地址和主机命令的映射关系,使用命令:vim /etc/hosts,进入到hosts文件中,然后按I建进入编辑模式,添加slave1和slave2的两个IP地址,编辑完成之后按ESC键退出编辑,然后输入命令::wq保存并退出即可,然后再次输入命令:ssh slave1或者ssh slave2就可以直接连接了。
    image-20220903005324452.png

OK,到现在第一步的要求已经完成了,后续的两个要求跟这个类似,我就在后面直接放图片了,不再做过多的赘述。

2、完成slave1到master、slave2的免密登录

image-20220903010320970.png

3、完成slave2到master、slave1的免密登录

image-20220903010727769.png

四、最后我想说

本次的实验操作比较简单,相信大家很快就能掌握,我就不做更多的描述了。

后续我还需要去学习一下有关linux相关的命令操作了。

好啦本期的博客就到这里了,创作不易,期待你们的支持!


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
8月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
1471 0
|
10月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
635 4
|
11月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
8月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
734 79
|
10月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
10月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
10月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现(218)
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度,结合实时路况数据和强化学习算法进行动态路径优化,有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑,展示了Java大数据在解决行业痛点问题中的强大能力,为物流行业的智能化转型提供了切实可行的技术方案。
|
11月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
11月前
|
存储 分布式计算 算法
Java 大视界 -- Java 大数据在智能教育在线考试监考与作弊检测中的技术创新(193)
本文探讨了Java大数据技术在智能教育在线考试监考与作弊检测中的创新应用。随着在线考试的普及,作弊问题日益突出,传统监考方式难以应对。通过Java大数据技术,可实现考生行为分析、图像识别等多维度监控,提升作弊检测的准确性与效率。结合Hadoop与Spark等技术,系统能实时处理海量数据,构建智能监考体系,保障考试公平性,推动教育评价体系的数字化转型。