开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 里mysql->Doris的整库同步,没有成功自动建表以及同步数据?

Flink CDC 里java.lang.IllegalStateException: Failed to send request to coordinator: com.ververica.cdc.runtime.operators.schema.event.SchemaChangeRequest@3d93dee1 mysql->Doris的整库同步,没有成功自动建表以及同步数据?Flink 1.16.2 cdc3.0。Caused by: java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException: Invocation of [RemoteRpcInvocation(JobMasterOperatorEventGateway.sendRequestToCoordinator(OperatorID, SerializedValue))] at recipient [akka.tcp://flink@10.7.70.137:6123/user/rpc/jobmanager_2] timed out. This is usually caused by: 1) Akka failed sending the message silently, due to problems like oversized payload or serialization failures. In that case, you should find detailed error information in the logs. 2) The recipient needs more time for responding, due to problems like slow machines or network jitters. In that case, you can try to increase akka.ask.timeout.e3b9a9faabcd33008fd384e5d5b01cc9.png测试Flink cdc3.0的整库同步功能,mysql to doris Pipeline同步,Flink1.17.1 、cdc3.0.0、mysql8.0.26、doris2.0.2.1。看日志成功读取到了mysql数据库库表信息,没做变更mysql的schema信息,而且我cdc的yaml文件里面也添加了参数 table.create.properties.light_schema_change: true。

展开
收起
小小鹿鹿鹿 2024-03-19 23:29:12 297 0
1 条回答
写回答
取消 提交回答
  • 用flink1.17.0把akka.ask.timeout这个参数调至120s 试一下 。你到jobmanager的config中搜索 一下akka.ask.timeout这个参数。link session 需要重启一下这个配置才能生效。另外这个问题已经在修复了。此回答来自钉群Flink CDC 社区。

    2024-03-20 11:13:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像