HDFS 中常见的Timeout

简介:

前段时间遇到HDFS的各种超时,这里总结下遇到的超时:

IPC

1.IPC connect timeout:

ClientsetupConnection设置,2.0.3之前是20s,之后是可配置ipc.client.connect.timeout

2.IPC max idle timeipc.client.connection.maxidletime设置,默认20s,若在20scalls依然为空则主动关闭;在Server端该值为×2

3.IPC ping timeout:在Client端由ipc.ping.interval设置,默认1min,定期刷新最后更新时间.

4.RPC timeout:在call调用内由客户端设置

SOCKET

1.IPC 连接的Socket timeout:若rpctimeout>0则去rpctime,否则为ipc.ping.interval

2.Connect/Read timeoutdfs.client.socket-timeout,默认READ_TIMEOUT = 60 * 1000READ_TIMEOUT_EXTENSION= 5 * 1000,connect timeout还未分离(HDFS-1075)

3.Write timeoutdfs.datanode.socket.write.timeout,默认WRITE_TIMEOUT = 8 * 60 * 1000WRITE_TIMEOUT_EXTENSION= 5 * 1000


本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367248,如需转载请自行联系原作者


相关文章
|
SQL 分布式计算 数据挖掘
Hive SQL初级练习(30题)
Hive SQL初级练习(30题)
|
数据采集 SQL 运维
巧用指标平台DataIndex,五步法轻松实现指标管理
在业务发展初期,企业需要做好规范的指标管理,以保证随着业务的不断发展,数据化决策能够成为业务强有力的支撑。本文将为大家详解如何通过袋鼠云指标管理平台DataIndex 进行规范化的指标开发管理,轻松开发指标,避免各类指标问题。
1546 0
|
资源调度 分布式计算 监控
|
分布式计算 资源调度 Hadoop
Hadoop【问题记录 03】【ipc.Client: Retrying connect to server:xxx/:8032+InvalidResourceRequestException】解决
【4月更文挑战第2天】Hadoop【问题记录 03】【ipc.Client: Retrying connect to server:xxx/:8032+InvalidResourceRequestException】解决
995 2
|
5月前
|
数据采集 人工智能 Java
阿里云正式开源 LoongSuite:打造 AI 时代的高性能低成本可观测采集套件
AI Agent技术架构的演进正在重塑软件工程实践方式。开发者可通过智能编程助手提升效率,也可依托专业框架构建智能体系统。技术生态呈现多维度发展,涵盖高代码与低代码方案,并支持Java和Python等多语言。新型开发范式如AutoGen和LangChain降低了开发门槛。LoongSuite作为可观测采集套件,助力企业高效构建AI时代可观测体系,推动标准化数据规范,提升系统稳定性与运维效率。
|
Shell 分布式数据库 Hbase
使用 HBase Shell 进行数据的批量导入和导出
使用 HBase Shell 进行数据的批量导入和导出
1286 6
|
存储 缓存 分布式计算
【赵渝强老师】基于RBF的HDFS联邦架构
最新版Hadoop实现了基于Router的联盟架构,增强了集群管理能力。Router将挂载表从客户端中分离,解决了ViewFS的问题。RBF架构包括Router和State Store两个模块,其中Router作为代理服务,负责解析ViewFS并转发请求至正确子集群,State Store则维护子集群的状态和挂载表信息。
344 0
|
机器学习/深度学习 分布式计算 Hadoop
记一次HDFS报EOFException异常的问题
现象 大晚上的收到线上DataNode挂掉异常的报警,值班同学随即做了重启处理,重启完成后,进程虽然在运行,但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0,明显不正常 HDFS在对丢失的block做恢复,missing blocks的数量在减少,但是丢失的的太多了,恢复速度很慢,这种情况肯定不能指望集群自动恢复的。
1500 0
|
SQL 存储 分布式计算
HDFS数据(跨集群)迁移
HDFS数据(跨集群)迁移
|
消息中间件 存储 Apache
Apache Paimon 表模式最佳实践
Apache Paimon 表模式最佳实践
4254 57