《Hadoop集群与安全》一1.4 小结

简介:

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.4节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 小结

构建Hadoop集群是一项复杂的任务,其中包含了诸多步骤。在规划集群中最容易遗漏的一步是总结集群所要处理的工作负载。正如本章所述,理解所构建的集群类型有利于我们合理规划以及选择正确的硬件配置。Hadoop最初是针对商业硬件进行设计的,但是现在它被更多的公司所采纳并且使用案例与Yahoo!以及Facebook这样的互联网巨头不同。这些公司有着不同的目标以及资源,因此需要相应地规划自己的Hadoop集群。我们经常可以看到在小型集群中包含了更多功能强劲的节点,以此节约数据中心的面积并且控制集群的耗电量。
Hadoop不断地在加入新的特性以及核心的生态系统项目。通常这些变化都会对核心Hadoop组件以及版本产生影响,同时新版本始终都不提供对旧版本的兼容性。最终用户有多种可供选择的Hadoop发行版,它们都对组件进行了良好地整合,甚至还提供了某些新增的特性。通常我们都倾向于选择最新以及特性最为丰富的Hadoop版本,但是从稳定性角度来说,我们最好选择在实践中已经使用过的版本并且确保它具有良好的可靠性。这样会为我们节省不少的麻烦。下一章将讨论安装和配置核心Hadoop组件的细节。请卷起你的袖管,我们准备要大干一场了!

相关文章
|
7月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
295 21
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
528 6
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
336 4
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
191 3
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
226 3
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
271 1
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
258 1
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
254 1
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
256 1
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
212 0

相关实验场景

更多