Flink CDC里这个问题怎么解决？_问答-阿里云开发者社区

Flink CDC里这个问题怎么解决？16025 [flink-akka.actor.default-dispatcher-9] INFO org.apache.flink.runtime.jobmaster.JobMaster - Starting execution of job 'tidb2hudi' (e85f75d82612bccab96819ec2c4a577b) under job master id 8339c2d56f22565b46bb9a5dc0f84dcd.
16124 [flink-akka.actor.default-dispatcher-9] INFO org.apache.hudi.common.table.HoodieTableMetaClient - Initializing hdfs://ecs-b73c-yhj-0001:8020/test/dept as hoodie table hdfs://ecs-b73c-yhj-0001:8020/test/dept
37976 [Thread-16] INFO org.apache.hadoop.hdfs.DataStreamer - Exception in createBlockOutputStream blk_1073741879_1055
java.net.ConnectException: Connection timed out: no further information
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:715)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:205)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:535)
at org.apache.hadoop.hdfs.DataStreamer.createSocketForPipeline(DataStreamer.java:253)
at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1757)
at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1711)
at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:707)
37979 [Thread-16] WARN org.apache.hadoop.hdfs.DataStreamer - Abandoning BP-462815773-192.168.10.212-1705054984625:blk_1073741879_1055
38050 [Thread-16] WARN org.apache.hadoop.hdfs.DataStreamer - Excluding datanode DatanodeInfoWithStorage[192.168.10.212:9866,DS-2fb8483a-4156-4bc8-85ef-7e591b2267e3,DISK]
59160 [Thread-16] INFO org.apache.hadoop.hdfs.DataStreamer - Exception in createBlockOutputStream blk_1073741880_1056
java.net.ConnectException: Connection timed out: no further information
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:715)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:205)

这个问题是由于在创建Hadoop DataStreamer时，连接超时导致的。你可以尝试以下方法解决这个问题：

检查网络连接是否正常，确保数据源和目标存储系统之间的网络通信畅通。
增加Hadoop的连接超时时间。你可以在Hadoop配置文件（如core-site.xml和hdfs-site.xml）中设置fs.defaultFS.connect-timeout参数，例如将其设置为60000毫秒（1分钟）：

<property>
    <name>fs.defaultFS.connect-timeout</name>
    <value>60000</value>
</property>

如果问题仍然存在，可以考虑增加DataNode的心跳间隔，以便更快地检测到故障节点。你可以在Hadoop配置文件（如hdfs-site.xml）中设置dfs.datanode.heartbeat.interval参数，例如将其设置为180000毫秒（30分钟）：

<property>
    <name>dfs.datanode.heartbeat.interval</name>
    <value>180000</value>
</property>

如果以上方法都无法解决问题，建议查看Flink CDC和Hadoop的日志文件，以获取更详细的错误信息和堆栈跟踪，以便进一步分析问题原因。

Flink CDC里这个问题怎么解决？

实时计算 Flink

相关文章

热门讨论

热门文章