写入数据的时候 datenode 宕机并不会重新分配 datanode，而是会将已写的数据写进 queue，并且将挂掉的 datanode 移除 pipiline（管道），将数据写入剩余的 datanode 中，等待写入数据完成后，namenode 会检查写入的数据，如果发现副本数没有达到指定的数量后，会重新找 datanode 保存副本。
在通过客户端向 hdfs 中写数据的时候，如果某一台机器宕机了，会怎么处理
2023-07-29
141
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
在通过客户端向 hdfs 中写数据的时候，如果某一台机器宕机了，会怎么处理
目录
相关文章
|
1月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
35
4
4
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
33
2
2
|
1月前
|
SQL
分布式计算
关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
80
0
0
|
1月前
|
SQL
分布式计算
关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
36
0
0
|
1月前
|
SQL
分布式计算
关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
46
0
0
|
3月前
|
SQL
存储
分布式计算
|
3月前
|
存储
分布式计算
Hadoop
|
4月前
|
分布式计算
Hadoop
|
4月前
|
分布式计算
Hadoop
关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
248
1
1
|
5月前
|
存储
分布式计算
Hadoop
热门文章
最新文章
1
hdfs命令
2
HDFS的shell命令
3
HDFS－Architecture剖析
4
手把手教你使用自建Hadoop访问全托管服务化HDFS（OSS-HDFS服务）
5
Hadoop 2.x HDFS和YARN的启动方式
6
HDFS的linux下开发环境准备
7
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
8
Hadoop大象之旅009-通过Shell操作hdfs
9
给 admin 新建的 hdfs 文件的权限
10
Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
1
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
138
2
程序技术好文：深刻理解HDFS工作机制
33
3
分布式系统详解--框架（Hadoop-HDFS的HA搭建及测试）
65
4
分布式系统详解--框架（Hadoop--JAVA操作HDFS文件）
45
5
Hadoop的HDFS数据均衡
233
6
实时计算 Flink版产品使用问题之独立集群与hdfs集群不在一起，何配置checkpoint目录为hdfs
52
7
实时计算 Flink版产品使用问题之把hdfs集群里的core-site.xml hdfs.xml两个文件放到flink/conf/目录下，启动集群说找不到hdfs，该如何解决
67
8
Hadoop生态系统详解：HDFS与MapReduce编程
197
9
Hadoop分布式文件系统（HDFS）的基本需求
92
10
【大数据】HDFS、HBase操作教程（含指令和JAVA API）
147