hadoop之 exceeds the limit of concurrent xcievers处理

简介:


dfs.datanode.max.transfer.threads: 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >
解释:Specifies the maximum number of threads to use for transferring data in and out of the DN.

表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多,而这个参数设置得过低就会有一部分文件处理不过来,就会报异常。
linux系统中所有的文件操作都被绑定到一个socket上,进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。
在datanode里面有一个专门的线程组来维护这些线程,同时有一个守护线程来监视这个线程组的体量,它负责监测线程数量是否到达上线,
超过就抛出异常,则需调大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

dfs.datanode.max.transfer.threads 参数设置过小,datanode 异常:
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

注意:dfs.datanode.max.transfer.threads 数目不能大于系统打开文件数的设置,即/etc/security/limits.conf中nofile的数值。

 



本文转自 张冲andy 博客园博客,如需转载请自行联系 原作者原文链接:http://www.cnblogs.com/andy6/p/8398205.html

相关文章
|
存储 缓存 固态存储
HBase 性能调优第一弹:内存篇
这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。 1. 合理配置 JVM 内存 这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群,默认配置只给 Master 和 RegionServer 分配了 1G 的内存,RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间,而一个 MemStore 刷写阈值默认 128M,所以一个 Regi
1262 0
|
存储 编解码 算法
OpenCV 图像处理学习手册:1~5
OpenCV 图像处理学习手册:1~5
313 0
|
应用服务中间件 Linux nginx
CentOS7 两种方式安装 Nginx
CentOS7 两种方式安装 Nginx
1491 0
CentOS7 两种方式安装 Nginx
|
安全 API 开发者
国内Claude 3.5怎么注册使用?
Claude 3.5由Anthropic开发,可通过特定平台如Slack或API使用。注册需用稳定邮箱如Gmail,并通过国外手机号验证。Slack用户可直接添加Claude 3.5应用进行交互,支持中英文。开发者可注册Anthropic API获取密钥。此外,国内有镜像服务可供使用。请注意隐私政策及访问限制。
1542 2
国内Claude 3.5怎么注册使用?
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的宠物医院信息管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的宠物医院信息管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
368 1
|
机器学习/深度学习 运维 数据中心
自动化运维工具的演变与未来趋势
【7月更文挑战第27天】在IT行业的快速发展中,自动化运维工具成为了提升效率、降低错误率的关键。本文通过探讨自动化运维工具的历史演变,分析当前市场上的主流工具,并预测未来的发展趋势,为读者提供一个全面的视角,帮助理解自动化运维工具的重要性和发展方向。
283 0
|
存储 监控 搜索推荐
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——安装篇(一)
|
API 开发者
Foxmail邮箱API发送邮件的步骤
使用Foxmail邮箱API发送邮件涉及五个步骤:注册开发者账号获取API密钥,配置API参数,构建邮件内容(主题、收件人、正文),通过API发送邮件请求并附带密钥,以及处理服务器返回的发送结果。AokSend提供稳定高效的发信服务,支持SMTP/API接口,适合大量邮件发送需求。确保遵循API规范以确保邮件成功送达。
|
SQL 分布式计算 Hadoop
Hive3新特性 1
Hive3新特性
557 1
|
SQL 分布式计算 资源调度
Hive性能优化之计算Job执行优化 1
Hive性能优化之计算Job执行优化
340 0
Hive性能优化之计算Job执行优化 1