大数据技术基础实验一:配置SSH免密登录

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 学校作业,大数据技术基础实验一详细过程

一、前言

这篇博客是用来记录大数据技术基础布置了实验作业,我们学校开设的大数据技术基础专业课需要进行各种实验操作,后续我也会更新我们的其他实验操作。

这个专栏不仅会更新实验操作也会更新有关大数据方面的知识总结。

还请得到大家的支持,谢谢大家!

二、实验要求

  1. 连接OpenVPN,能够通过Xshell成功ssh登录至分配到的3台服务器上
  2. 完成master到master、slave1-2的免密登录
  3. 完成slave1到master、slave2的免密登录
  4. 完成slave2到master、slave1的免密登录

每一步骤都需要上传截图并且需对截图实现的功能进行说明,第一步要求我们在上一篇博客中已经完成了,大家可以自行去看一下,我把博客的地址放在下面:

如何使用Xshell7连接学校虚拟机(保姆级)

OK,我们现在只需要完成后面几个步骤就行,他们的操作都差不多,废话不多说我们开始吧。

三、配置SSH免密登录

在实验中,我们需要从学校的集群中登录到Linux服务器上,而绝大多数Linux服务器采用的是SSH(Secure Shell)登录方式,因此,我们需要在实验室机器上安装一个SSH登录工具,我们所用的登录工具就是Xshell。

我们可以在master直接使用命令:ssh+IP地址连接登录其他的slave:

image-20220903002451634.png

然后退出的话直接使用命令:exit即可退出:

image-20220903002903809.png

但是很麻烦的是,下次再连接登录的时候又需要输入密码,因此我们需要进行配置来提高效率。

Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,每次切换都输入一次密码效率太低了,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。

以上就是我们为什么要配置SSH免密登录的重要原因,现在我们开始着手配置。

1、完成master到master、slave1-2的免密登录

  • 首先我们需要再master上生成自己的密钥,直接输入命令:ssh-keygen生成密钥:
    image-20220903003619678.png
  • 然后输入命令:cd .ssh/ 进入隐藏文件夹,找到id_rsa和id_rsa.pub两个文件,其中前者是私钥后者是公钥。
    image-20220903004044642.png
  • 然后通过命令:ssh-copy-id IP地址将其拷贝到slave1和slave2上面去,然后发现现在登录不需要密码了。

image-20220903004044642.png

  • 如果想直接使用命令:ssh slave1或者ssh slave2直接登录的话需要改变一下IP地址和主机命令的映射关系,使用命令:vim /etc/hosts,进入到hosts文件中,然后按I建进入编辑模式,添加slave1和slave2的两个IP地址,编辑完成之后按ESC键退出编辑,然后输入命令::wq保存并退出即可,然后再次输入命令:ssh slave1或者ssh slave2就可以直接连接了。
    image-20220903005324452.png

OK,到现在第一步的要求已经完成了,后续的两个要求跟这个类似,我就在后面直接放图片了,不再做过多的赘述。

2、完成slave1到master、slave2的免密登录

image-20220903010320970.png

3、完成slave2到master、slave1的免密登录

image-20220903010727769.png

四、最后我想说

本次的实验操作比较简单,相信大家很快就能掌握,我就不做更多的描述了。

后续我还需要去学习一下有关linux相关的命令操作了。

好啦本期的博客就到这里了,创作不易,期待你们的支持!


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8天前
|
分布式计算 Hadoop 网络安全
杨校老师课堂之集群内SSH免密登录功能配置
杨校老师课堂之集群内SSH免密登录功能配置
15 0
|
1天前
|
网络协议 Linux 网络安全
Linux配置SSH允许TCP转发
Linux配置SSH允许TCP转发
8 1
|
6天前
|
安全 Linux Shell
【Linux基础】SSH登录
安全外壳协议(Secure Shell Protocol,简称SSH)是一种加密的网络传输协议,可在不安全的网络中为网络服务提供安全的传输环境。 SSH通过在网络中建立安全隧道来实现SSH客户端与服务器之间的连接。 SSH最常见的用途是远程登录系统,人们通常利用SSH来传输命令行界面和远程执行命令。
20 6
|
4天前
|
数据采集 分布式计算 监控
MaxCompute产品使用问题之如何配置数据质量监控
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
9天前
|
监控 安全 Linux
【权限维持】Linux&OpenSSH&PAM后门&SSH软链接&公私钥登录
【权限维持】Linux&OpenSSH&PAM后门&SSH软链接&公私钥登录
|
10天前
|
监控 数据可视化 大数据
大数据技术在公共交通系统规划中的应用
大数据技术在公共交通系统规划中的应用
|
3天前
|
存储 数据采集 分布式计算
利用大数据技术优化电商返利系统的效率
利用大数据技术优化电商返利系统的效率
|
4天前
|
存储 数据采集 分布式计算
利用大数据技术优化电商返利系统的效率
利用大数据技术优化电商返利系统的效率
|
7天前
|
网络安全 数据安全/隐私保护
分布式系统详解--框架(Hadoop-Ssh免密登陆配置)
分布式系统详解--框架(Hadoop-Ssh免密登陆配置)
10 0
|
8天前
|
机器学习/深度学习 人工智能 分布式计算
数据科学与大数据技术就业方向
数据科学与大数据技术就业方向