开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这种方式 读取不到数据 是怎么回事?

Flink CDC这种方式 读取不到数据 是怎么回事? 'scan.startup.mode' = 'timestamp',
'scan.startup.timestamp-millis' = '1696753277200', -- 在时间戳启动模式下指定启动时间戳,确定 源表是有数据的,flink-sql-connector-mysql-cdc 版本2.4.1

展开
收起
真的很搞笑 2023-10-10 19:24:02 214 0
4 条回答
写回答
取消 提交回答
  • 数据库连接问题:检查 Flink CDC 连接到 PostgreSQL 数据库的连接是否正常。确保数据库服务器可用,并且 Flink CDC 配置中的连接信息(如主机、端口、用户名和密码)正确无误。
    数据库配置问题:确认 PostgreSQL 数据库的表结构、字段类型和索引等配置是否正确。如果有字段类型、索引等问题,可能会影响到 Flink CDC 读取数据的准确性。
    Flink CDC 配置问题:确认 Flink CDC 的版本是否与 PostgreSQL 数据库版本匹配。如果不匹配,可能会导致 Flink CDC 读取数据失败。

    2023-10-13 17:31:08
    赞同 展开评论 打赏
  • 时间戳格式不正确:请确保在Flink CDC中配置的时间戳格式与源数据库中的时间戳格式一致。
    时间戳在源数据库中不存在:请检查时间戳是否在源数据库中存在,如果不存在,可能需要调整时间戳的范围。
    Flink CDC配置错误:请检查Flink CDC的配置文件,确保配置正确。

    2023-10-12 16:03:12
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    Flink CDC 通过时间戳启动模式来读取数据,需要确保指定的启动时间戳对应的源表是有数据的。如果指定的启动时间戳没有对应的数据,就会出现无法读取到数据的情况。

    您可以尝试以下方法解决问题:

    1. 确认源表是否有数据。可以通过查看源表的日志、查询语句等方式进行确认。
    2. 调整启动时间戳。可以尝试增加或减少启动时间戳的值,直到能够读取到数据为止。
    3. 检查 Flink CDC 版本和连接器版本是否兼容。如果不兼容,可以尝试升级或降级版本,或者使用其他版本的连接器。
    2023-10-11 10:34:29
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    如果 Flink CDC 读取 MySQL 数据库中的数据失败,可能是启动时间戳不正确:在时间戳启动模式下,需要通过 scan.startup.timestamp-millis 参数指定要读取的起始时间戳。确保该参数设置正确,时间戳的单位是毫秒。同时,需要保证该时间戳要晚于最早的 Binlog 中的事件时间,否则 CDC 读取器无法正常读取数据。

    也有可能配置文件中的表过滤条件不正确:在 Flink CDC 的配置文件中,可以通过 table.include.list 来指定要监控的表。如果该参数设置不正确,可能会导致 CDC 读取器无法从 MySQL 数据库中获取到正确的 Binlog 和数据信息,从而无法正确读取数据。

    2023-10-11 07:48:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载