文档备案控制台

开发者社区开发与运维文章正文

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

2019-06-01 872

版权

版权声明：

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 从hadoop移除机器把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。

从hadoop移除机器

把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。

操作命令：

在master的conf/hdfs-site.xml中加入

   <property>
       <name>dfs.hosts.exclude</name>
       <value>excludes文件路径</value>
   </property>

创建exclueds文件

文件内容增加你想删除的节点的机器名，一行一个

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果

向hadoop添加机器

启动datanode和jobtracker进程，当新添加的机器向namenode发送心跳信息后，namenode会自动感知新加入的机器，如果有必要可以做balancer操作。

操作命令：

1.在新机器上
   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.为防新数据大量写到新添加的机器上，在namenode上 ${HADOOP_HOME}/bin/hdfs balancer

文章标签：

转发路由器

前端开发

Web App开发

@dailidong@

目录

相关文章

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

最近在线上往hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。

@dailidong@

1594 0 0

@dailidong@

|

Web App开发监控前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block 解决办法：Hbase侧配置的dfs.socket.timeout值过小，与DataNode侧配置的 dfs.socket.timeout的配置不一致，将hbase和datanode的该配置调成大并一致。

@dailidong@

1005 0 0

@dailidong@

|

Web App开发前端开发 Java

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

2014-08-24 22:15:21,714 WARN org.apache.hadoop.hdfs.server.datanode.

@dailidong@

691 0 0

@dailidong@

|

Web App开发 Linux

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

内存是影响Linux性能的主要因素之一，内存资源的充足与否直接影响应用系统的使用性能。 free命令：监控Linux内存使用状况。

@dailidong@

1449 0 0

@dailidong@

|

Web App开发数据库

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

可伸缩系统的架构经验 Feb 27th, 2013 | Comments 最近，阅读了Will Larson的文章Introduction to Architecting System for Scale，感觉很有价值。

@dailidong@

2565 0 0

@dailidong@

|

Web App开发前端开发算法

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

@dailidong@

860 0 0

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

如何获取设备特征码、版本号、激活码？方式一第一步：打开凯立德移动导航系统，进入地图界面，点击“查找”第二步：在查找页面以“快拼”的输入方式下，输入“AAAAAA”（6个A）

@dailidong@

1201 0 0

@dailidong@

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

在上一期的专栏文章中，我们曾经提到：数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端（图一：pic1.bmp）其中，数据仓库（DW）起到了数据大集中的作用。

@dailidong@

1320 0 0

@dailidong@

|

Web App开发前端开发

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。　　事实表是星型模型的核心，事实表由主键和度量数据两部分组成。

@dailidong@

697 0 0

@dailidong@

|

Web App开发前端开发大数据

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

数据案例-蓝米手机的精准广告营销 2016-01-25 劲说背景介绍：假设我是大米手机的数据分析师大傅，今天收到市场运营小旋同学的春节投放需求，在大米平台的DMP投放展示广告，做促销蓝米手机活动，投放预算是100万，同时悄悄告诉我，如果投放ROI超过2，她们市场运营总监设立奖励金额为（n-2）*1万的奖金。

@dailidong@

864 0 0

热门文章

最新文章

RTMP、RTSP、HTTP视频协议详解（附：直播流地址、播放软件）

网络协议基础：HTTP请求与响应详解

前端常见的HTTP状态码

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

Jmeter系列（21）- 详解 HTTP Request

http协议的有效字符

node反向代理，解决跨域（http-proxy-middleware）

NanoMQ Newsletter 2022-08｜v0.11：MQTT 5.0 + MQTT over QUIC 桥接，新增 HTTP API 监控客户端状态

新生命HTTP反向代理

http://www.goldenbg.com/article.asp?id=2076

HTTP 与 SOCKS5 代理协议：企业级选型指南与工程化实践

AI 超级智能体全栈项目阶段一：AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式（SDK/HTTP/SpringAI/langchain4j）

什么是TCP/UDP/HTTP？它们如何影响你的内网穿透体验？

站在巨人的肩膀上：gRPC通过HTTP/2构建云原生时代的通信标准

从HPACK到多路复用，揭秘HTTP/2如何终结网络拥堵

对比PAC代理与传统HTTP代理的不同

从文本到二进制：HTTP/2不止于性能，更是对HTTP/1核心语义的传承与革新

掌握使用 requests 库发送各种 HTTP 请求和处理 API 响应

SSL/TLS协议如何确保HTTP通信的安全

HTTP工具解析：功能、应用场景与选型指南

相关课程

更多

Java Web开发-Web应用、Tomcat、HTTP请求与响应

云安全基础课- HTTP协议基础

相关电子书

更多

阿里巴巴HTTP 2.0实践及无线通信协议的演进之路

低代码开发师（初级）实战教程

阿里巴巴DevOps 最佳实践手册

下一篇

一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！