hadoop更换硬盘

简介: hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin    日志位置:/var/log/hadoop)1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。

hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin    日志位置:/var/log/hadoop)
1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。如果有,执行hadoop-daemon.sh stop tasktracker,停止TaskTracker进程。
2.切换到hdfs用户,执行jps命令,查看是否有DataNode进程。如果有,执行hadoop-daemon.sh stop datanode,停止DataNode进程。
3.卸载硬盘umount /dataX.

4.格式化新硬盘成ext4格式(分区/fdisk或者parted格式化)

fdisk -l /dev/sdX

n

p

默然选择1分区.其他的都保持默认

最后w,保存

格式化为ext4: mkfs.ext4 /dev/sdX1

挂载:mount /dev/sdX1 /dataX

然后blkid /dev/sdX1  把获取到的UUID替换对应的坏掉的硬盘的UUID,位置(/etc/fstab)

5.创建DataNode,TaskTracker使用目录。mkdir -p /dataX/dfs; mkdir -p /dataX/mapred;   mkdir -p /dataX/tmp;  (或者直接cd /dataX; mkdir {dfs,mapred,tmp} )
6.为DataNode,TaskTracker使用目录赋予正确权限(mapreduce运行程序的用户为mapred)。chown -R hdfs:hadoop /dataX/dfs;chown -R mapred:hadoop /dataX/mapred ;chown -R mapred:hadoop /dataX/tmp ;chown hdfs:hadoop /dataX
7.切换到hdfs用户,执行hadoop-daemon.sh start datanode,启动DataNode进程。
8.切换到mapred用户,执行hadoop-daemon.sh start tasktracker,启动TaskTracker进程。
9.查看启动日志,观察一段时间判断服务是否正常。

目录
相关文章
|
5月前
|
分布式计算 Hadoop 测试技术
Hadoop格式化前备份数据
【7月更文挑战第22天】
147 7
|
5月前
|
存储 分布式计算 安全
Hadoop格式化前使用快照功能
【7月更文挑战第23天】
55 5
|
6月前
|
存储 分布式计算 资源调度
Hadoop节点磁盘空间大小差异
【6月更文挑战第19天】
119 1
|
7月前
|
存储 分布式计算 Hadoop
Hadoop磁盘冗余
【5月更文挑战第13天】
64 5
|
存储 分布式计算 资源调度
MacOs首次安装单机Hadoop
Apache Hadoop项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不是依靠硬件来提供高可用性,而是设计用于检测和处理应用层的故障,因此在计算机集群之上提供高可用性服务,每台计算机都可能容易出现故障。(原文翻译) 访问:https://hadoop.apache.org/ 安装设备 个人macbookpro Mac-Os11+
420 1
MacOs首次安装单机Hadoop
|
分布式计算 Hadoop Java
hadoop的单台部署
hadoop的单台部署
117 0
|
分布式计算 Hadoop Java
Windows系统下安装Hadoop
Windows系统下安装Hadoop
|
分布式计算 Hadoop Linux
Hadoop运行环境搭建(开发重点二)克隆虚拟机、利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
在XShell和Xftp连接hadoop102、hadoop103和hadoop104、配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts、如何将hadoop104从磁盘删除、如何再将hadoop100添加回来、如果不小心将虚拟机hadoop100移除了、为什么不从hadoop101开始,因为一开始hadoop101留给了单台服务器操作使用,而用102,103,104搭建的是完全分布式,真正的生产集群。后面可以用101进行源码的编译...
Hadoop运行环境搭建(开发重点二)克隆虚拟机、利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
|
SQL 消息中间件 分布式计算
HADOOP VM三台虚拟机配置hadoop分布式
HADOOP VM三台虚拟机配置hadoop分布式
264 0
HADOOP VM三台虚拟机配置hadoop分布式
|
存储 分布式计算 Hadoop
在阿里云esc服务器上装hadoop
从远程连接云服务器,到安装完成后jsp检验安装情况
在阿里云esc服务器上装hadoop