集群配置|学习笔记

简介: 快速学习 集群配置

开发者学堂课程【Hadoop 快速入门:集群配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/92/detail/1419


集群配置


虚拟机准备,编写集群分发脚本 xsync 都是各种工具的准备。

 

①集群部署规划

首先有 hadoop102,103,104分别要配置 HDFS 和 YARN,如 namenode 有128G放到 secondarynamenode 则要除以二,一人只能用 60 G,resourcemanager 是整个集群的第一,

要避开 namenode 和 secondarynamenode .搭建集群,配置 core-site,xml 需要我们配置 namenode 的地址和 hadoop 运作时产生文件的存储目录,之前 name,fs,defaultfs/name 和 value〉

hdfs://hadoop102:9000</value> 放在 101 上,另一个则改成 182 离心目录则不用改

②需要改 HDFS 配置文件

hadoop 里面有一个 _env,sh,在配置尾分布格式的时候拷贝过来的资料。在 hdfs里面副本是 3,secondary.namenode 需要放在 104 同时对应的 site 号是一个数字。

③yarn 下面则是配置文件

再往下则是 yarn_site.xml. 以前配置的是 nodemanager 和 resourcemanager.

④再往下就是 mapreduce 配置文件

有两个文件,一个是 mapred_env.sh 另一个则是,mapred_site.xml. 需要改名称,改名称里面添加一个程序在在 yarn 上,所有做的都是没有尾分布式的,如有尾分布式,操作则简单多。

集群单节点启动

容易出错地方:

切记直接,bin/hdfs 去格式化内部透,要删除东西 date/logs/102 弄完,用start_dfs,sh,

思考:

每次都是一个一个节点启动,

如果节数增加到 1000 个怎么办?

相关文章
|
分布式计算 资源调度 负载均衡
Hadoop集群配置
【6月更文挑战第13天】
368 5
|
3天前
|
云安全 人工智能 算法
以“AI对抗AI”,阿里云验证码进入2.0时代
三层立体防护,用大模型打赢人机攻防战
1307 3
|
3天前
|
机器学习/深度学习 安全 API
MAI-UI 开源:通用 GUI 智能体基座登顶 SOTA!
MAI-UI是通义实验室推出的全尺寸GUI智能体基座模型,原生集成用户交互、MCP工具调用与端云协同能力。支持跨App操作、模糊语义理解与主动提问澄清,通过大规模在线强化学习实现复杂任务自动化,在出行、办公等高频场景中表现卓越,已登顶ScreenSpot-Pro、MobileWorld等多项SOTA评测。
632 3
|
4天前
|
人工智能 Rust 运维
这个神器让你白嫖ClaudeOpus 4.5,Gemini 3!还能接Claude Code等任意平台
加我进AI讨论学习群,公众号右下角“联系方式”文末有老金的 开源知识库地址·全免费
|
11天前
|
编解码 人工智能 自然语言处理
⚽阿里云百炼通义万相 2.6 视频生成玩法手册
通义万相Wan 2.6是全球首个支持角色扮演的AI视频生成模型,可基于参考视频形象与音色生成多角色合拍、多镜头叙事的15秒长视频,实现声画同步、智能分镜,适用于影视创作、营销展示等场景。
743 5