写入数据的时候 datenode 宕机并不会重新分配 datanode，而是会将已写的数据写进 queue，并且将挂掉的 datanode 移除 pipiline（管道），将数据写入剩余的 datanode 中，等待写入数据完成后，namenode 会检查写入的数据，如果发现副本数没有达到指定的数量后，会重新找 datanode 保存副本。
在通过客户端向 hdfs 中写数据的时候，如果某一台机器宕机了，会怎么处理
2023-07-29
153
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
在通过客户端向 hdfs 中写数据的时候，如果某一台机器宕机了，会怎么处理
目录
相关文章
|
2月前
|
SQL
分布式计算
Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（一）
55
4
4
|
2月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY（二）
42
2
2
|
2月前
|
SQL
分布式计算
关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
103
0
0
|
2月前
|
SQL
分布式计算
关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
47
0
0
|
2月前
|
SQL
分布式计算
关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
57
0
0
|
4月前
|
SQL
存储
分布式计算
|
4月前
|
存储
分布式计算
Hadoop
|
5月前
|
分布式计算
Hadoop
|
5月前
|
分布式计算
Hadoop
关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
311
1
1
|
6月前
|
存储
分布式计算
Hadoop
热门文章
最新文章
1
sqoop2:从mysql导出数据到hdfs
2
Hadoop 2.x HDFS和YARN的启动方式
3
HDFS－Architecture剖析
4
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
5
HDFS的linux下开发环境准备
6
Hadoop大象之旅009-通过Shell操作hdfs
7
给 admin 新建的 hdfs 文件的权限
8
Hadoop HDFS概念学习系列之两个和HDFS读写操作最为密切的Hadoop包（二十）
9
HDFS的文件操作
10
使用oracle的大数据工具ODCH访问HDFS数据文件
1
Hadoop的HDFS问题
87
2
阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
72770
3
[AIGC 大数据基础]浅谈hdfs
81
4
[AIGC 大数据基础] 浅谈hdfs
68
5
Hive【基础知识 02-1】【Hive CLI 命令行工具使用】【准备阶段-建库、建表、导入数据、编写测试SQL脚本并上传HDFS】
93
6
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
109
7
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
157
8
面经：HDFS分布式文件系统原理与故障排查
524
9
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
132
10
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
329