大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(一)

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(正在更新)

章节内容

上一节完成:

  • HDFS集群XML的配置
  • MapReduce集群XML的配置
  • Yarn集群XML的配置
  • 统一权限
  • DNS统一配置
  • 背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。

之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。


注意,如果你和我一样,打算用公网部署,那一定要做好防火墙策略,避免不必要的麻烦!!!

请大家都以学习为目的,也请不要对我的服务进行嗅探或者攻击!!!


但是有一台公网服务器我还运行着别的服务,比如前几天发的:autodl-keeper 自己写的小工具,防止AutoDL机器过期的。还跑着别的Web服务,所以只能挤出一台 2C2G 的机器。那我的配置如下了:


2C4G 编号 h121

2C4G 编号 h122

2C2G 编号 h123

请确保上一节内容已经配置完毕

YARN 介绍

YRAN 是一个基于开源架构的容器化平台,主要用于现代企业中的大规模分布式应用部署与管理。该平台集成了多种服务,帮助用户在多云或混合云环境中进行应用的持续集成、交付和扩展。YRAN 提供了自动化的运维工具,通过微服务架构和容器化技术,提升了应用的可伸缩性和可靠性。


核心特点

容器管理:YRAN 支持 Docker 和 Kubernetes,能够快速部署和管理应用容器,自动调整资源。

自动化部署:通过 DevOps 工具链,YRAN 提供持续集成和持续交付 (CI/CD) 功能,简化了应用的部署和更新流程。

多云支持:YRAN 能够兼容多个云平台,包括 AWS、Azure、Google Cloud 等,方便企业灵活选择基础设施。

监控与安全:平台内置了强大的监控和告警功能,帮助用户实时掌握系统的运行状态,并且对数据和服务提供完善的安全保障。

可扩展性:YRAN 提供模块化设计,可以通过插件扩展功能,适应不同的企业需求。

YRAN 的目标是帮助企业优化 IT 基础架构,提升应用交付效率和运行稳定性。


可扩展性

YRAN 的可扩展性是其核心优势之一,允许企业根据业务需求灵活调整和扩展平台功能,确保系统能够应对不断变化的工作负载和复杂的业务场景。可扩展性体现在多个层面,包括架构、服务、资源以及开发流程。


架构层的可扩展性

YRAN 采用微服务架构,系统各个组件被分解成独立的服务,彼此之间通过 API 进行通信。这种松耦合的设计确保了单个服务的独立升级、扩展和维护,而不会影响其他服务。微服务架构的优势在于:


服务独立部署:不同服务可以根据需求水平进行独立的扩展或缩减,不必扩展整个系统。

技术栈多样性:不同的服务可以使用不同的编程语言、数据库或框架,实现了技术的灵活性。

动态扩展:系统可以根据流量自动水平扩展,新增服务实例以应对增加的工作负载。

资源层的可扩展性

YRAN 支持云原生的自动化资源管理,尤其在使用 Kubernetes 时,平台能够通过水平自动扩展 (HPA) 和垂直自动扩展来优化资源分配:


水平扩展 (Horizontal Scaling):通过增加更多的实例(如容器或节点),系统能够处理更多的请求或任务。Kubernetes 自动根据- 负载情况动态创建新的容器来应对流量高峰。

垂直扩展 (Vertical Scaling):根据需求调整单个容器或节点的 CPU 和内存资源,确保应用程序在高负载下有足够的计算能力。

Hosts 修改(必须!重要!坑多!)

这里是必须的,不然后续集群之间互通会很麻烦。配置不好的话集群之间会互相不认证。

vim /etc/hosts

由于云服务器会给你配置一些没用的东西,导致后续的集群通信有问题,你需要参考我的配置:

目前我在 h121 节点上,你需要把自己这台的域名映射到 0.0.0.0。

比如你在h122节点上,你需要配置成0.0.0.0 h122.wzk.icu。

此外,其他的你需要注意,尽量不要绑定127、localhost,避免服务无法暴露,统一都到 0.0.0.0 !!!

下面的配置供你参考!


h121机器

0.0.0.0  h121.wzk.icu
101.35.209.96 h122.wzk.icu
124.223.26.81 h123.wzk.icu

# The following lines are desirable for IPv6 capable hosts
# :::1  ip6-localhost   ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
#127.0.1.1      localhost
# 127.0.1.1     hecs-393573     hecs-393573
0.0.0.0 hecs-393573     hecs-393573

配置结果如下:

h122机器

0.0.0.0 h122.wzk.icu
114.115.221.144 h121.wzk.icu
124.223.26.81 h123.wzk.icu

#127.0.1.1 localhost.localdomain VM-12-12-ubuntu
#127.0.0.1 localhost
0.0.0.0 localhost.localdomain VM-12-12-ubuntu

#::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

配置结果如下:

h123机器

0.0.0.0 h123.wzk.icu
114.115.221.144 h121.wzk.icu
101.35.209.96 h122.wzk.icu

0.0.0.0 localhost.localdomain VM-4-5-ubuntu
#127.0.0.1 localhost

# ::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

接下篇:https://developer.aliyun.com/article/1621586

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2天前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
24 5
|
2天前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
18 4
|
2天前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
23 5
|
Linux Shell 网络安全
脚本自动配置ssh互信 推荐
前言 此脚本虽然是python脚本,但是里面调用了太多os.system命令(囧,哥的python太水了),只要懂shell脚本,就可用shell来完成自动配置ssh互信脚本。为何当初没有使用except,因为本公司的centos中没有携带except安装包,centos还是精简版,很多依赖包都没有。
1075 0
|
4月前
|
安全 Linux Shell
Linux中SSH命令介绍
Linux中SSH命令介绍
101 2
|
2月前
|
安全 Linux 网络安全
在Linux中,如何配置SSH以确保远程连接的安全?
在Linux中,如何配置SSH以确保远程连接的安全?
|
2月前
|
安全 Linux Shell
SSH 命令完整实用指南 | Linux SSH 服务
【8月更文挑战第20天】
256 0
|
2月前
|
安全 Linux Shell
如何在 Linux 服务器上配置基于 SSH 密钥的身份验证
如何在 Linux 服务器上配置基于 SSH 密钥的身份验证
54 0