《Hadoop集群与安全》一1.4 小结

简介:

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.4节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 小结

构建Hadoop集群是一项复杂的任务,其中包含了诸多步骤。在规划集群中最容易遗漏的一步是总结集群所要处理的工作负载。正如本章所述,理解所构建的集群类型有利于我们合理规划以及选择正确的硬件配置。Hadoop最初是针对商业硬件进行设计的,但是现在它被更多的公司所采纳并且使用案例与Yahoo!以及Facebook这样的互联网巨头不同。这些公司有着不同的目标以及资源,因此需要相应地规划自己的Hadoop集群。我们经常可以看到在小型集群中包含了更多功能强劲的节点,以此节约数据中心的面积并且控制集群的耗电量。
Hadoop不断地在加入新的特性以及核心的生态系统项目。通常这些变化都会对核心Hadoop组件以及版本产生影响,同时新版本始终都不提供对旧版本的兼容性。最终用户有多种可供选择的Hadoop发行版,它们都对组件进行了良好地整合,甚至还提供了某些新增的特性。通常我们都倾向于选择最新以及特性最为丰富的Hadoop版本,但是从稳定性角度来说,我们最好选择在实践中已经使用过的版本并且确保它具有良好的可靠性。这样会为我们节省不少的麻烦。下一章将讨论安装和配置核心Hadoop组件的细节。请卷起你的袖管,我们准备要大干一场了!

相关文章
|
5天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
9天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
36 9
|
11天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
22 4
|
13天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
14天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
15 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
25 0
|
3月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
46 0
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
35 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路-- hadoop集群的部署(4)退役旧数据节点
大数据成长之路-- hadoop集群的部署(4)退役旧数据节点
53 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
67 0

热门文章

最新文章

相关实验场景

更多