Could not obtain block blk_XXX_YYY from any node:java.io.IOException:No live nodes contain current block

简介:

错误:

    10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry

原因:

    Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers。如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误

解决方法:

    在conf/hdfs-site.xml里面的添加如下配置

    <property>

        <name>dfs.datanode.max.xcievers</name>

        <value>4096</value>

        <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>

    </property>

目录
相关文章
|
SQL 分布式计算 DataWorks
同步Hive表数据报block文件不存在问题 java.io.FileNotFoundException: File does not exist
同步Hive表数据报block文件不存在问题 java.io.FileNotFoundException: File does not exist
|
Shell
Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
【2月更文挑战第17天】Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
845 2
|
JavaScript 前端开发 Java
你觉得Node.js与JAVA相比,其优势在哪里?未来会超越JAVA吗?
你觉得Node.js与JAVA相比,其优势在哪里?未来会超越JAVA吗?
934 1
|
JavaScript Java
|
Java
Unable to obtain OffsetDateTime from TemporalAccessor: {},ISO resolved to 2024-11-26T20:55:26 of type java.time.format.Parsed
Unable to obtain OffsetDateTime from TemporalAccessor: {},ISO resolved to 2024-11-26T20:55:26 of type java.time.format.Parsed
756 0
|
存储 调度
Block IO 控制器 【ChatGPT】
Block IO 控制器 【ChatGPT】
|
Kubernetes 容器
Warning FailedScheduling 14m (x12 over 16m) default-scheduler 0/1 nodes are available: 1 node(s
Warning FailedScheduling 14m (x12 over 16m) default-scheduler 0/1 nodes are available: 1 node(s
619 0
|
容器
解决java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes......
解决java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes......
1829 0
解决java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/nodes......
|
JavaScript 前端开发 算法
【从0配置JAVA项目相关环境2】node.js + 前端 从配置到运行
【从0配置JAVA项目相关环境2】node.js + 前端 从配置到运行
521 0