Hadoop用户重新部署HDFS

简介: 在这篇文章中https://www.jianshu.com/p/eeae2f37a48c我们使用的是root用户来部署的,在生产环境中,一般某个组件是由某个用户来启动的,本篇文章介绍下怎样用hadoop用户来重新部署伪分布式(HDFS)

1.前期准备


创建hadoop用户,及配置ssh免密登录

参考:https://www.jianshu.com/p/589bb43e0282


2.停止root启动的HDFS进程并删除/tmp目录下的存储文件

[root@hadoop000 hadoop-2.8.1]# pwd
/opt/software/hadoop-2.8.1
[root@hadoop000 hadoop-2.8.1]# jps
32244 NameNode
32350 DataNode
32558 SecondaryNameNode
1791 Jps
[root@hadoop000 hadoop-2.8.1]# sbin/stop-dfs.sh 
Stopping namenodes on [hadoop000]
hadoop000: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
[root@hadoop000 hadoop-2.8.1]# jps
2288 Jps
[root@hadoop000  hadoop-2.8.1]# rm -rf /tmp/hadoop-* /tmp/hsperfdata_*


3.更改文件属主

[root@hadoop000 software]# pwd
/opt/software
[root@hadoop000 software]# chown -R hadoop:hadoop hadoop-2.8.1


4.进入hadoop用户 修改相关配置文件

#第一步:
[hadoop@hadoop000 hadoop]$ pwd
/opt/software/hadoop-2.8.1/etc/hadoop
[hadoop@hadoop000 hadoop]$ vi hdfs-site.xml 
<configuration>
     <property>
                <name>dfs.replication</name>
                <value>1</value>
     </property>
     <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.6.217:50090</value>
     </property>
     <property>
                <name>dfs.namenode.secondary.https-address</name>
                <value>192.168.6.217:50091</value>
     </property>
</configuration>
#第二步:
[hadoop@hadoop000 hadoop]$ vi core-site.xml 
<configuration>
     <property>
          <name>fs.defaultFS</name>
          <value>hdfs://192.168.6.217:9000</value>
     </property>
</configuration>
#第三步:
[hadoop@hadoop000 hadoop]# vi slaves 
192.168.6.217


5.格式化和启动

[hadoop@hadoop000 hadoop-2.8.1]$ pwd
/opt/software/hadoop-2.8.1
[hadoop@hadoop000 hadoop-2.8.1]$ bin/hdfs namenode -format
[hadoop@hadoop000 hadoop-2.8.1]$ sbin/start-dfs.sh
Starting namenodes on [hadoop000]
hadoop000: starting namenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-namenode-hadoop000.out
192.168.6.217: starting datanode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-datanode-hadoop000.out
Starting secondary namenodes [hadoop000]
hadoop000: starting secondarynamenode, logging to /opt/software/hadoop-2.8.1/logs/hadoop-hadoop-secondarynamenode-hadoop000.out
[hadoop@hadoop000 hadoop-2.8.1]$ jps
3141 Jps
2806 DataNode
2665 NameNode
2990 SecondaryNameNode
#至此发现HDFS三个进程都是以hadoop000启动,


目录
相关文章
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
161 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
66 2
|
1月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
62 3
|
15天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
46 2
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
87 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
40 0
|
1月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
48 0
|
分布式计算 应用服务中间件 Docker
Hadoop HDFS分布式文件系统Docker版
一、Hadoop文件系统HDFS 构建单节点的伪分布式HDFS 构建4个节点的HDFS分布式系统 nameNode secondnameNode datanode1 datanode2 其中 datanode2动态节点,在HDFS系统运行时,==动态加入==。
2624 0
|
23天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
79 2

热门文章

最新文章

相关实验场景

更多
下一篇
无影云桌面