开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里SQLserver cdc 开启 cdc表没有记录啥原因?

Flink CDC里SQLserver cdc 开启 cdc表没有记录啥原因?

展开
收起
小小鹿鹿鹿 2024-01-24 12:31:57 28 0
2 条回答
写回答
取消 提交回答
  • 在Flink CDC从SQL Server捕获数据变更(CDC)的过程中,如果开启CDC功能后对应的表中没有记录变化数据,可能存在以下几种原因:

    1. CDC启用不当

      • 没有正确为SQL Server数据库启用CDC功能,或者仅在数据库级别启用而未在目标表上启用。
      • 忘记执行 sys.sp_cdc_enable_table 存储过程来为特定表启用CDC,并且指定正确的捕获实例和其他参数。
    2. 事务日志配置不足

      • SQL Server事务日志没有足够的空间或配置不正确,导致CDC无法记录变更。
    3. Supplemental Logging

      • 对于某些类型的变更捕获,可能需要在Oracle数据库中类似的额外日志记录(SQL Server不需要此设置,这里提到是为了类比其他数据库系统的可能问题)。
    4. 表结构变更

      • 如果在开启CDC后对表结构进行了重大变更,比如添加或删除列,可能会影响CDC的有效性,需要重新启用CDC。
    5. CDC捕获进程

      • CDC捕获作业(capture job)没有运行或配置错误,所以即使数据发生变化,也不会被CDC捕获服务抓取到。
    6. 数据变更类型

      • 根据SQL Server CDC的设置,它可能不会捕获所有的DML操作(INSERT, UPDATE, DELETE)。需要确认配置是否覆盖所有需要追踪的变更类型。
    7. CDC保留策略

      • CDC捕获的数据有一个默认的保留期,如果超过了该保留期,旧的变更数据会被自动清除。检查CDC的清理策略设置,确保数据尚未被清理掉。
    2024-01-26 16:40:09
    赞同 展开评论 打赏
  • 看下这个服务有没有。f7f7782690a111f9bb09356621d112c9.png此回答来自钉群Flink CDC 社区。

    2024-01-24 19:00:06
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载