开发者社区> 问答> 正文

Hadoop集群HDFS测试文件上传,小文件可以,大文件DataNode日志警告超出阈值时间

三台服务器,hdsf和yarn都正常启动,几K的小文件正常传输,188M的大文件DataNode日志一直在跑 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror took 1107ms (threshold=300ms)

然后主机完成上传报错 WARN hdfs.DFSClient: Slow waitForAckedSeqno took 39186ms (threshold=30000ms) put: java.nio.channels.ClosedChannelException

查看文件变小,只有80多M

我觉得是等待阈值时间太小, 请问大佬们如何解决这个问题? 服务器是CentOS7.7 2核4G 1M

很急,谢谢

展开
收起
九厘米的梦 2020-05-23 12:36:40 2835 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载