开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中写入es的job启动就报错了,我看jar包并没有缺失这个包

"Flink CDC中写入es的job启动就报错了,我看jar包并没有缺失这个包。
013bbc9239adb72a14b14719061235a6.png
我在两个服务器上起同样的job,一个不报错正常运行,一个报这个错,依赖的问题我也排查了,但是也没解决问题。"

展开
收起
十一0204 2023-08-09 10:20:30 71 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    报错信息表明Flink CDC写入es所依赖的Elasticsearch客户端jar包版本与es集群不兼容导致的。

    具体可能原因和解决方案:

    Flink CDC和Elasticsearch客户端版本不匹配,尝试升级或者降级以找一个匹配版本。

    Elasticsearch集群版本高于客户端支持范围,需要升级客户端到支持该es版本。

    项目依赖中存在重复的es客户端jar引起冲突。检查排除冲突jar。

    Elasticsearch集群配置问题,如安全认证插件版本也可能导致兼容问题。

    网络或防火墙导致Flink和es集群无法正常通信。

    排查的方法:

    查看Flink和es客户端实际版本是否匹配。

    直接使用es客户端测试连接es,比对错误信息。

    尝试升级或降级版本进行验证。

    查看Flink和es日志定位communication错误点。

    2023-08-10 17:38:16
    赞同 展开评论 打赏
  • 意中人就是我呀!

    看看依赖冲突问题。此回答整理至钉群“Flink CDC 社区”。

    2023-08-09 12:21:06
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载