开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个是什么问题?

Flink CDC这个是什么问题?flink-1.15 image.png

展开
收起
真的很搞笑 2023-11-01 14:49:28 68 0
2 条回答
写回答
取消 提交回答
  • 看起来你在使用 Apache Flink,并且遇到了 UnrecognizedPropertyException。这个异常通常意味着你正在尝试访问一个 JSON 对象中不存在的属性。在你的错误消息中,Unrecognized field "error_code" 表示程序试图读取名为 "error_code" 的字段,但是在 JSON 对象中并没有找到这个字段。

    这个问题可能的原因有:

    1. JSON 对象中确实没有 "error_code" 这个字段,你需要检查你的 JSON 数据源是否正确。
    2. 如果 "error_code" 字段是可选的,那么你可能需要在你的代码中处理这个字段可能不存在的情况。
    3. 如果你正在使用的是 Flink CDC,那么这个问题可能是由于 Flink CDC 捕获和处理的数据源(比如 MySQL 或者其他数据库)的数据结构发生了变化,而你的 Flink 任务没有相应地更新。

    对于这个问题,你可以尝试以下解决方案:

    • 检查和验证你的 JSON 数据源是否正确。你可以使用在线的 JSON 校验工具,如 JSONLint 来检查你的 JSON 数据。
    • 如果 "error_code" 字段是可选的,你需要在读取和解析 JSON 数据时,对这个字段的存在性进行检查和处理。例如,你可以使用 Java 的 Jackson 库中的 JsonParser.nextToken() 方法来检查下一个 token 是否是 FIELD_NAME
    • 如果你正在使用 Flink CDC,那么你需要检查你的数据源是否发生了变化(比如数据库的结构发生了变化),并相应地更新你的 Flink 任务。
    2023-11-02 14:45:44
    赞同 展开评论 打赏
  • 测试sr和doris查询速度,a表66674858数据,b表219数据,c表2787数据,三张表关联查询,包含模糊查询,union,嵌套子查询等等条件,sr 2.6秒到2.8秒上下,doris 3.1秒到3.5秒上下 测试版本starrocks3.1.2 doris2.0.2
    我看了官方的flink没有error_code这个字段,此回答整理自钉群“Flink CDC 社区”

    2023-11-01 21:50:45
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载