大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

简介: 大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(正在更新)

章节内容

上一节完成:

  • HDFS集群XML的配置
  • MapReduce集群XML的配置
  • Yarn集群XML的配置
  • 统一权限
  • DNS统一配置
  • 背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。

之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。


注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!

请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!


但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:


2C4G 编号 h121

2C4G 编号 h122

2C2G 编号 h123

请确保上一节内容已经配置完毕

YARN 介绍

YRAN 是一个基于开源架构的容器化平台,主要用于现代企业中的大规模分布式应用部署与管理。该平台集成了多种服务,帮助用户在多云或混合云环境中进行应用的持续集成、交付和扩展。YRAN 提供了自动化的运维工具,通过微服务架构和容器化技术,提升了应用的可伸缩性和可靠性。


核心特点

容器管理:YRAN 支持 Docker 和 Kubernetes,能够快速部署和管理应用容器,自动调整资源。

自动化部署:通过 DevOps 工具链,YRAN 提供持续集成和持续交付 (CI/CD) 功能,简化了应用的部署和更新流程。

多云支持:YRAN 能够兼容多个云平台,包括 AWS、Azure、Google Cloud 等,方便企业灵活选择基础设施。

监控与安全:平台内置了强大的监控和告警功能,帮助用户实时掌握系统的运行状态,并且对数据和服务提供完善的安全保障。

可扩展性:YRAN 提供模块化设计,可以通过插件扩展功能,适应不同的企业需求。

YRAN 的目标是帮助企业优化 IT 基础架构,提升应用交付效率和运行稳定性。


可扩展性

YRAN 的可扩展性是其核心优势之一,允许企业根据业务需求灵活调整和扩展平台功能,确保系统能够应对不断变化的工作负载和复杂的业务场景。可扩展性体现在多个层面,包括架构、服务、资源以及开发流程。


架构层的可扩展性

YRAN 采用微服务架构,系统各个组件被分解成独立的服务,彼此之间通过 API 进行通信。这种松耦合的设计确保了单个服务的独立升级、扩展和维护,而不会影响其他服务。微服务架构的优势在于:


服务独立部署:不同服务可以根据需求水平进行独立的扩展或缩减,不必扩展整个系统。

技术栈多样性:不同的服务可以使用不同的编程语言、数据库或框架,实现了技术的灵活性。

动态扩展:系统可以根据流量自动水平扩展,新增服务实例以应对增加的工作负载。

资源层的可扩展性

YRAN 支持云原生的自动化资源管理,尤其在使用 Kubernetes 时,平台能够通过水平自动扩展 (HPA) 和垂直自动扩展来优化资源分配:


水平扩展 (Horizontal Scaling):通过增加更多的实例(如容器或节点),系统能够处理更多的请求或任务。Kubernetes 自动根据- 负载情况动态创建新的容器来应对流量高峰。

垂直扩展 (Vertical Scaling):根据需求调整单个容器或节点的 CPU 和内存资源,确保应用程序在高负载下有足够的计算能力。

Hosts 修改(必须!重要!坑多!)

这里是必须的,不然后续集群之间互通会很麻烦。配置不好的话集群之间会互相不认证。

vim /etc/hosts

由于云服务器会给你配置一些没用的东西,导致后续的集群通信有问题,你需要参考我的配置:

目前我在 h121 节点上,你需要把自己这台的域名映射到 0.0.0.0。

比如你在h122节点上,你需要配置成0.0.0.0 h122.wzk.icu。

此外,其他的你需要注意,尽量不要绑定127、localhost,避免服务无法暴露,统一都到 0.0.0.0 !!!

下面的配置供你参考!


h121机器

0.0.0.0  h121.wzk.icu
101.35.209.96 h122.wzk.icu
124.223.26.81 h123.wzk.icu

# The following lines are desirable for IPv6 capable hosts
# :::1  ip6-localhost   ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#127.0.1.1      localhost
# 127.0.1.1     hecs-393573     hecs-393573
0.0.0.0 hecs-393573     hecs-393573

配置结果如下:

h122机器

0.0.0.0 h122.wzk.icu
114.115.221.144 h121.wzk.icu
124.223.26.81 h123.wzk.icu

#127.0.1.1 localhost.localdomain VM-12-12-ubuntu
#127.0.0.1 localhost
0.0.0.0 localhost.localdomain VM-12-12-ubuntu

#::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

配置结果如下:

h123机器

0.0.0.0 h123.wzk.icu
114.115.221.144 h121.wzk.icu
101.35.209.96 h122.wzk.icu

0.0.0.0 localhost.localdomain VM-4-5-ubuntu
#127.0.0.1 localhost

# ::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

接下篇:https://developer.aliyun.com/article/1621586

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
614 79
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
801 4
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
671 2
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
569 1
|
网络安全 数据安全/隐私保护
item2实现ssh的免密登录
编写expect脚本 1 新建脚本(脚本位置没有明确要求) touch ssh-info.sh 2 脚本内容 #!/usr/bin/expect set timeout 30 spawn ssh -p [lindex $argv 0] [lind...
1400 0
|
5月前
|
Linux 网络安全 Docker
盘古栈云,创建带ssh服务的linux容器
创建带ssh服务的linux容器
396 146
|
8月前
|
监控 Linux 网络安全
FinalShell SSH工具下载,服务器管理,远程桌面加速软件,支持Windows,macOS,Linux
FinalShell是一款国人开发的多平台SSH客户端工具,支持Windows、Mac OS X和Linux系统。它提供一体化服务器管理功能,支持shell和sftp同屏显示,命令自动提示,操作便捷。软件还具备加速功能,提升访问服务器速度,适合普通用户和专业人士使用。
2830 0
|
11月前
|
安全 Linux 网络安全
在Linux(CentOS和AWS)上安装更新的git2的方法并配置github-ssh
经过以上这些步骤,你现在就能在GitHub上顺利往返,如同海洋中的航海者自由驰骋。欢迎你加入码农的世界,享受这编程的乐趣吧!
489 10
|
安全 Linux Shell
Linux中SSH命令介绍
Linux中SSH命令介绍
749 2
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。