大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

简介: 大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(正在更新)

章节内容

上一节完成:

  • HDFS集群XML的配置
  • MapReduce集群XML的配置
  • Yarn集群XML的配置
  • 统一权限
  • DNS统一配置
  • 背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。

之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。


注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!

请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!


但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:


2C4G 编号 h121

2C4G 编号 h122

2C2G 编号 h123

请确保上一节内容已经配置完毕

YARN 介绍

YRAN 是一个基于开源架构的容器化平台,主要用于现代企业中的大规模分布式应用部署与管理。该平台集成了多种服务,帮助用户在多云或混合云环境中进行应用的持续集成、交付和扩展。YRAN 提供了自动化的运维工具,通过微服务架构和容器化技术,提升了应用的可伸缩性和可靠性。


核心特点

容器管理:YRAN 支持 Docker 和 Kubernetes,能够快速部署和管理应用容器,自动调整资源。

自动化部署:通过 DevOps 工具链,YRAN 提供持续集成和持续交付 (CI/CD) 功能,简化了应用的部署和更新流程。

多云支持:YRAN 能够兼容多个云平台,包括 AWS、Azure、Google Cloud 等,方便企业灵活选择基础设施。

监控与安全:平台内置了强大的监控和告警功能,帮助用户实时掌握系统的运行状态,并且对数据和服务提供完善的安全保障。

可扩展性:YRAN 提供模块化设计,可以通过插件扩展功能,适应不同的企业需求。

YRAN 的目标是帮助企业优化 IT 基础架构,提升应用交付效率和运行稳定性。


可扩展性

YRAN 的可扩展性是其核心优势之一,允许企业根据业务需求灵活调整和扩展平台功能,确保系统能够应对不断变化的工作负载和复杂的业务场景。可扩展性体现在多个层面,包括架构、服务、资源以及开发流程。


架构层的可扩展性

YRAN 采用微服务架构,系统各个组件被分解成独立的服务,彼此之间通过 API 进行通信。这种松耦合的设计确保了单个服务的独立升级、扩展和维护,而不会影响其他服务。微服务架构的优势在于:


服务独立部署:不同服务可以根据需求水平进行独立的扩展或缩减,不必扩展整个系统。

技术栈多样性:不同的服务可以使用不同的编程语言、数据库或框架,实现了技术的灵活性。

动态扩展:系统可以根据流量自动水平扩展,新增服务实例以应对增加的工作负载。

资源层的可扩展性

YRAN 支持云原生的自动化资源管理,尤其在使用 Kubernetes 时,平台能够通过水平自动扩展 (HPA) 和垂直自动扩展来优化资源分配:


水平扩展 (Horizontal Scaling):通过增加更多的实例(如容器或节点),系统能够处理更多的请求或任务。Kubernetes 自动根据- 负载情况动态创建新的容器来应对流量高峰。

垂直扩展 (Vertical Scaling):根据需求调整单个容器或节点的 CPU 和内存资源,确保应用程序在高负载下有足够的计算能力。

Hosts 修改(必须!重要!坑多!)

这里是必须的,不然后续集群之间互通会很麻烦。配置不好的话集群之间会互相不认证。

vim /etc/hosts

由于云服务器会给你配置一些没用的东西,导致后续的集群通信有问题,你需要参考我的配置:

目前我在 h121 节点上,你需要把自己这台的域名映射到 0.0.0.0。

比如你在h122节点上,你需要配置成0.0.0.0 h122.wzk.icu。

此外,其他的你需要注意,尽量不要绑定127、localhost,避免服务无法暴露,统一都到 0.0.0.0 !!!

下面的配置供你参考!


h121机器

0.0.0.0  h121.wzk.icu
101.35.209.96 h122.wzk.icu
124.223.26.81 h123.wzk.icu

# The following lines are desirable for IPv6 capable hosts
# :::1  ip6-localhost   ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#127.0.1.1      localhost
# 127.0.1.1     hecs-393573     hecs-393573
0.0.0.0 hecs-393573     hecs-393573

配置结果如下:

h122机器

0.0.0.0 h122.wzk.icu
114.115.221.144 h121.wzk.icu
124.223.26.81 h123.wzk.icu

#127.0.1.1 localhost.localdomain VM-12-12-ubuntu
#127.0.0.1 localhost
0.0.0.0 localhost.localdomain VM-12-12-ubuntu

#::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

配置结果如下:

h123机器

0.0.0.0 h123.wzk.icu
114.115.221.144 h121.wzk.icu
101.35.209.96 h122.wzk.icu

0.0.0.0 localhost.localdomain VM-4-5-ubuntu
#127.0.0.1 localhost

# ::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

接下篇:https://developer.aliyun.com/article/1621586

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1306 6
|
消息中间件 分布式计算 NoSQL
大数据-134 - ClickHouse 集群三节点 安装配置启动
大数据-134 - ClickHouse 集群三节点 安装配置启动
651 0
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
575 21
|
分布式计算 Java MaxCompute
ODPS MR节点跑graph连通分量计算代码报错java heap space如何解决
任务启动命令:jar -resources odps-graph-connect-family-2.0-SNAPSHOT.jar -classpath ./odps-graph-connect-family-2.0-SNAPSHOT.jar ConnectFamily 若是设置参数该如何设置
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
602 4
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
358 3
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
401 3
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
745 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
509 4
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1205 0