Could not obtain block blk_XXX_YYY from any node:java.io.IOException:No live nodes contain current block

本文涉及的产品
视频直播,500GB 1个月
简介:

错误:

    10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry

原因:

    Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers。如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误

解决方法:

    在conf/hdfs-site.xml里面的添加如下配置

    <property>

        <name>dfs.datanode.max.xcievers</name>

        <value>4096</value>

        <dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>

    </property>

目录
相关文章
|
8月前
|
Shell
Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
【2月更文挑战第17天】Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
397 2
|
2月前
|
Java
Unable to obtain OffsetDateTime from TemporalAccessor: {},ISO resolved to 2024-11-26T20:55:26 of type java.time.format.Parsed
Unable to obtain OffsetDateTime from TemporalAccessor: {},ISO resolved to 2024-11-26T20:55:26 of type java.time.format.Parsed
50 0
|
4月前
|
JSON 前端开发 JavaScript
socket.io即时通信前端配合Node案例
本文介绍了如何使用socket.io库在Node.js环境下实现一个简单的即时通信前端配合案例,包括了服务端和客户端的代码实现,以及如何通过socket.io进行事件的发送和监听来实现实时通信。
59 2
|
5月前
|
JavaScript 前端开发 Ubuntu
如何在 VPS 上安装 Express(Node.js 框架)并设置 Socket.io
如何在 VPS 上安装 Express(Node.js 框架)并设置 Socket.io
70 0
|
5月前
|
存储 JavaScript 数据库
如何使用 Socket.IO、Angular 和 Node.js 创建实时应用程序
如何使用 Socket.IO、Angular 和 Node.js 创建实时应用程序
33 0
|
7月前
|
Java 编译器 开发工具
Xshell提示Java no comment
Xshell提示Java no comment
|
JavaScript 前端开发 Java
你觉得Node.js与JAVA相比,其优势在哪里?未来会超越JAVA吗?
你觉得Node.js与JAVA相比,其优势在哪里?未来会超越JAVA吗?
379 1
解决java.lang.Exception:No runnable methods问题~
解决java.lang.Exception:No runnable methods问题~
|
Java
已解决Java.net.MalformedURLException异常的有效方法java.net.MalformedURLException: no protocol异常处理
已解决Java.net.MalformedURLException异常的有效方法java.net.MalformedURLException: no protocol异常处理
649 0
|
8月前
|
XML JavaScript Java
如何去除Java dom生成的xml文件头的standalone=“no“ ,去掉后无换行
如何去除Java dom生成的xml文件头的standalone=“no“ ,去掉后无换行
124 0