搭建Hadoop集群(一)

简介: 搭建Hadoop集群(一)

内容

昨晚运行了一个wordcount,惊觉Hadoop很多细节知识忘记了,于是今天把本地的虚拟机全部移除,从头开始搭建了一个三节点的Hadoop集群。原虚拟机中的Hive、Zk、HBase、Spark等框架,后续逐个添加。

环境

VMware、CentOS6.8、Hadoop2.7.2、Java1.8、XShell6、Xftp6

步骤

1、Vm没有卸载,直接创建新的虚拟机,选项几乎默认,剩下的两台在安装完各种环境后,直接克隆。安装前硬件:内存一定要大,另外找一个空间够大的固态盘,最少准备60G,防止后面框架运行空间不足。


微信图片_20220429121206.jpg


2、安装CentOS系统,这一步需要手动配置分区,并且在自定义软件的地方吧Java和服务器环境去除,后面自己安装。其他的软禁少选一点,不然非常慢,后面几乎不用虚拟机的桌面,用的是XShell操作。


3、虚拟机开机后,设置一下ip地址和开机自启动,连上XShell。设置防火墙关闭。


微信图片_20220429121210.jpg


4、安装Java8。我没有从官网下载,直接从之前做项目的阿里云上拿过来。


5、安装Hadoop。Hadoop2.7.2版本。


6、进行三种模式下的Wordcount测试。


微信图片_20220429121215.jpg


7、本地文件运行时,报错:java.net.UnknownHostException: h1: h1: 未知的名称或服务.解决方法:vi /etc/hosts ip h1,我在这里顺便把另外两个的ip都加上了。


微信图片_20220429121218.jpg


8、伪分布式运行。修改core-site和hdfs-site文件,格式化namenode,然后分别启动namenode和datanode。重复本地运行的运行步骤


9、接下来是配置伪分布式的Yarn和搭建完全分布式。

注意事项

网关ip和DNS的ip一致,等于NAT设置中的网关ip即可。

相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
177 6
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
76 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
34 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
59 3
|
2月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
67 1
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
43 1
|
2月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
45 1
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
50 1
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
51 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
95 0