开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

大佬们,sqlserver-cdc监控不到增量数据咋回事,有遇到的么?

大佬们,sqlserver-cdc监控不到增量数据咋回事,有遇到的么?242fd8b7ef1a47fc94209114c59c7025.png

展开
收起
滴滴滴~ 2023-03-21 09:13:41 257 0
2 条回答
写回答
取消 提交回答
  • 坚持这件事孤独又漫长。
    • Sql Server CDC未启用:首先需要在服务器和数据库级别启用CDC, 并使用sys.fn_cdc_get_all_changes函数对启用CDC的表进行监控。

    • CDC的日志出现了延迟或者异常:CDC基于事务日志进行监控,如果事务日志出现延迟或者异常,CDC可能无法正确捕捉增量的数据变化。

    • 目标表的schema发生变化:如果启用CDC的目标表的schema发生变化,CDC可能无法正确捕捉数据变化。

    • 设置不正确的轮询时间:如果轮询时间设置过长,则CDC可能无法及时捕获增量的数据变化。

    • 配置不正确的捕获实例:如果使用了诸如分布式事务等技术,可能会影响CDC的捕获实例的选择,导致数据变化无法被正确捕获。

    以上是学习查阅资料得出的原因列表,针对具体情况可能还要具体测试分析才能确定。

    2023-03-21 10:39:34
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    检查下CDC捕获进程有没有启动。

    1、先查看CDC捕获进程的状态

    EXEC sys.sp_cdc_help_jobs;
    

    2、如果CDC捕获进程未启动,则需要手动启动CDC捕获进程

    -- 启动CDC捕获进程
    EXEC sys.sp_start_job N'cdc.MyCaptureJob';
    
    
    2023-03-21 09:26:50
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载

相关实验场景

更多