HDFS 中常见的Timeout

简介:

前段时间遇到HDFS的各种超时,这里总结下遇到的超时:

IPC

1.IPC connect timeout:

ClientsetupConnection设置,2.0.3之前是20s,之后是可配置ipc.client.connect.timeout

2.IPC max idle timeipc.client.connection.maxidletime设置,默认20s,若在20scalls依然为空则主动关闭;在Server端该值为×2

3.IPC ping timeout:在Client端由ipc.ping.interval设置,默认1min,定期刷新最后更新时间.

4.RPC timeout:在call调用内由客户端设置

SOCKET

1.IPC 连接的Socket timeout:若rpctimeout>0则去rpctime,否则为ipc.ping.interval

2.Connect/Read timeoutdfs.client.socket-timeout,默认READ_TIMEOUT = 60 * 1000READ_TIMEOUT_EXTENSION= 5 * 1000,connect timeout还未分离(HDFS-1075)

3.Write timeoutdfs.datanode.socket.write.timeout,默认WRITE_TIMEOUT = 8 * 60 * 1000WRITE_TIMEOUT_EXTENSION= 5 * 1000


本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367248,如需转载请自行联系原作者


相关文章
|
分布式计算 Spark
通过spark.default.parallelism谈Spark并行度
本篇文章首先通过大家熟知的一个参数spark.default.parallelism为引,聊一聊Spark并行度都由哪些因素决定?
通过spark.default.parallelism谈Spark并行度
|
流计算 Java 监控
如何分析及处理 Flink 反压?
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。
如何分析及处理 Flink 反压?
|
SQL HIVE
Caused by: java.io.IOException: Filesystem closed的处理
org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.
3383 0
|
数据采集 SQL 运维
巧用指标平台DataIndex,五步法轻松实现指标管理
在业务发展初期,企业需要做好规范的指标管理,以保证随着业务的不断发展,数据化决策能够成为业务强有力的支撑。本文将为大家详解如何通过袋鼠云指标管理平台DataIndex 进行规范化的指标开发管理,轻松开发指标,避免各类指标问题。
1525 0
|
资源调度 分布式计算 监控
|
资源调度 分布式计算 安全
YARN Capacity Scheduler容量调度器(超详细解读)
YARN Capacity Scheduler容量调度器(超详细解读)
2500 0
YARN Capacity Scheduler容量调度器(超详细解读)
|
分布式计算 资源调度 Hadoop
Hadoop【问题记录 03】【ipc.Client: Retrying connect to server:xxx/:8032+InvalidResourceRequestException】解决
【4月更文挑战第2天】Hadoop【问题记录 03】【ipc.Client: Retrying connect to server:xxx/:8032+InvalidResourceRequestException】解决
966 2
|
XML 分布式计算 Hadoop
hadoop
hadoop
1562 0
|
SQL 存储 Java
Hive教程(09)- 彻底解决小文件的问题
Hive教程(09)- 彻底解决小文件的问题
1292 1
|
Shell 分布式数据库 Hbase
使用 HBase Shell 进行数据的批量导入和导出
使用 HBase Shell 进行数据的批量导入和导出
1235 6