开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教各位大佬一个问题,我在使用flink-cdc 2.3.0的时候同步mysql中的一张表?

请教各位大佬一个问题,我在使用flink-cdc 2.3.0的时候同步mysql中的一张表,运行起来的时候删除实际表的一个字段,会导致任务异常,会导致flink集群挂掉,有大佬知道是怎么回事么?日志报错,看的是任务取消不掉,导致的taskmanager宕机:2023-08-17 16:44:14,157 WARN org.apache.flink.runtime.taskmanager.Task [] - Task 'Source: source_offline_syn_model_total_test[2180] -> DropUpdateBefore[2181] -> Calc[2182] -> ConstraintEnforcer[2183] -> Sink: target_ODS_TABLE_TEST_081702[2183] (1/1)#0' did not react to cancelling signal - interrupting; it is stuck for 30 seconds in method:
java.lang.Throwable.fillInStackTrace(Native Method)
java.lang.Throwable.fillInStackTrace(Throwable.java:783)
java.lang.Throwable.(Throwable.java:310)
java.lang.Exception.(Exception.java:102)
java.lang.ReflectiveOperationException.(ReflectiveOperationException.java:89)
java.lang.reflect.InvocationTargetException.(InvocationTargetException.java:72)
sun.reflect.GeneratedMethodAccessor48.invoke(Unknown Source)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:498)
java.io.ObjectStreamClass.invokeWriteObject(ObjectStreamClass.java:1140)
java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1496)
java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
java.io.ObjectOutputStream.defaultWriteObject(ObjectOutputStream.java:441)
java.lang.Throwable.writeObject(Throwable.java:985)

展开
收起
真的很搞笑 2023-08-23 16:32:53 120 0
1 条回答
写回答
取消 提交回答
  • 删除字段,需要重新修改flinksql字段,并启动,,此回答整理自钉群“Flink CDC 社区”

    2023-08-23 16:41:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    搭建电商项目架构连接MySQL 立即下载
    搭建4层电商项目架构,实战连接MySQL 立即下载
    PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

    相关镜像