开发者社区 > 大数据与机器学习 > 正文

FlinkCDC在通过flink集群提交jar时,会报错BlobServer错

FlinkCDC在通过flink集群提交jar时,会报错Caused by: java.io.IOException: Could not connect to BlobServer at address localhost/127.0.0.1:6124。提交的命令为:flink run -m **:8081 -c /home/flink/jars/flink-app-12908085334583998612.jar

展开
收起
iwhale-小周 2023-12-20 13:43:56 640 0
1 条回答
写回答
取消 提交回答
  • 这个错误信息 "Caused by: java.io.IOException: Could not connect to BlobServer at address localhost/127.0.0.1:6124" 表示 Flink 客户端在尝试连接到 Flink 集群的 BlobServer 时遇到了问题。BlobServer 是 Flink 集群中用于存储和分发作业 jar 和其它依赖项的组件。以下是一些可能的解决步骤:

    1. 检查 Flink 集群状态:确保你的 Flink 集群正在运行并且可以接受作业提交。你可以通过访问 Flink 的 Web UI(通常是 http://<job-manager-address>:8081)来查看集群状态。
    2. 确认 JobManager 地址:在你的命令行参数中,-m <job-manager-address>:8081 应该是你的 Flink JobManager 的实际地址。如果 JobManager 不在本地主机上运行,你需要将 <job-manager-address> 替换为正确的 IP 地址或主机名。
    3. 检查网络连接:确保客户端机器能够通过指定的端口(这里是 8081 和 6124)与 Flink 集群建立网络连接。你可以使用 telnetnc 工具测试这些端口的连通性。
    4. 检查防火墙设置:如果网络连接被防火墙阻止,你需要在客户端和服务器端都配置防火墙规则以允许必要的通信。
    5. 检查 Flink 配置:查看 Flink 配置文件(通常位于 conf/flink-conf.yaml),确保 BlobServer 的相关配置正确。特别是 blob.server.port 配置应该设置为 6124(或者你自定义的端口号)。
    6. 重启 Flink 集群:如果以上步骤都无法解决问题,尝试重启 Flink 集群,有时候重启可以解决一些临时的网络或配置问题。
    7. 清理 Blob 存储:在某些情况下,BlobServer 的存储路径可能已满或者存在损坏的文件,这可能导致连接失败。你可以尝试清理 BlobServer 的存储路径,并确保 Flink 用户有适当的权限访问该路径。
    2023-12-20 14:22:40
    赞同 展开评论 打赏

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载