文档备案控制台

开发者社区开发与运维文章正文

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

2019-06-01 835

版权

版权声明：

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 从hadoop移除机器把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。

从hadoop移除机器

把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。

操作命令：

在master的conf/hdfs-site.xml中加入

   <property>
       <name>dfs.hosts.exclude</name>
       <value>excludes文件路径</value>
   </property>

创建exclueds文件

文件内容增加你想删除的节点的机器名，一行一个

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果

向hadoop添加机器

启动datanode和jobtracker进程，当新添加的机器向namenode发送心跳信息后，namenode会自动感知新加入的机器，如果有必要可以做balancer操作。

操作命令：

1.在新机器上
   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.为防新数据大量写到新添加的机器上，在namenode上 ${HADOOP_HOME}/bin/hdfs balancer

文章标签：

转发路由器

前端开发

Web App开发

@dailidong@

目录

相关文章

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

@dailidong@

831 1 1

@dailidong@

|

存储 Web App开发监控

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

我们以前使用过的对hbase和hdfs进行健康检查，及剩余hdfs容量告警，简单易用 1.针对hadoop2的脚本： #/bin/bashbin=`dirname $0`bin=`cd $bin;pwd`STATE_OK=...

@dailidong@

1221 0 0

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

异步通信对于BS(Browser-Server 浏览器)架构，很多情景下server的处理时间较长。如果浏览器发送请求后，保持跟server的连接，等待server响应，那么一方面会对用户的体验有负面影响；另一方面，很有可能会由于超时，提示用户服务请求失败。

@dailidong@

898 0 0

@dailidong@

|

Web App开发监控前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.

@dailidong@

844 0 0

@dailidong@

|

Web App开发 Apache

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

参考， https://cwiki.apache.org/confluence/display/KAFKA/System+Tools https://cwiki.

@dailidong@

834 0 0

@dailidong@

|

Web App开发监控前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法打开/etc/my.cnf文件在[mysqld] 中添加 max_connections=1000 重启mysql服务 service mysqld restart mysql>show variables like '%max_connections%'; 查看当前mysql的连接数方法 mysqladmin -uroot -p status 其中，Uptime:mysqld运行时间，单位秒。

@dailidong@

793 0 0

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

如何获取设备特征码、版本号、激活码？方式一第一步：打开凯立德移动导航系统，进入地图界面，点击“查找”第二步：在查找页面以“快拼”的输入方式下，输入“AAAAAA”（6个A）

@dailidong@

1152 0 0

@dailidong@

|

Web App开发前端开发关系型数据库

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

云服务器 ECS > Linux操作运维问题 > 应用配置 > linux系统关闭IPv6的方式 linux系统关闭IPv6的方式 IPv6被认为是IPv4的替代产品，它用来解决现有IPv4地址空间即将耗尽的问题。

@dailidong@

1216 0 0

@dailidong@

|

Web App开发前端开发数据库

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

支付宝数据建模介绍

@dailidong@

1173 0 0

@dailidong@

|

Web App开发前端开发 Java

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

在hadoop测试集群运行job的过程中发现部分运行失败，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的时候也报这个错，看过代码后发现...

@dailidong@

815 0 0

热门文章

最新文章

在 CentOS 6.8 x86_64 上安装 nghttp2 最新版及让 curl 具有 http2 特性

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

Java网络编程从入门到精通（23）：HTTP消息头字段

HTTP协议【网络基础/应用层】

HTTP协议详解

sudo apt-get update出现W: GPG 错误：http://packages.ros.org/ros/ubuntu xenial InRelease: 由于没有公钥，无法验证下列签名：

Http协议原理解析第一篇

http报文在各层的长度分析-wireshark报文实战

Ajax学习-Http请求

Windows Phone 7 Http请求添加Cookie的方法

HTTP 与 SOCKS5 代理协议：企业级选型指南与工程化实践

AI 超级智能体全栈项目阶段一：AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式（SDK/HTTP/SpringAI/langchain4j）

什么是TCP/UDP/HTTP？它们如何影响你的内网穿透体验？

站在巨人的肩膀上：gRPC通过HTTP/2构建云原生时代的通信标准

从HPACK到多路复用，揭秘HTTP/2如何终结网络拥堵

对比PAC代理与传统HTTP代理的不同

从文本到二进制：HTTP/2不止于性能，更是对HTTP/1核心语义的传承与革新

掌握使用 requests 库发送各种 HTTP 请求和处理 API 响应

SSL/TLS协议如何确保HTTP通信的安全

HTTP工具解析：功能、应用场景与选型指南

相关课程

更多

Java Web开发-Web应用、Tomcat、HTTP请求与响应

云安全基础课- HTTP协议基础

相关电子书

更多

阿里巴巴HTTP 2.0实践及无线通信协议的演进之路

低代码开发师（初级）实战教程

阿里巴巴DevOps 最佳实践手册

下一篇

阿里云重磅新品：Agent安全中心，全新安全框架下AI Agent一体化防御平台