实时计算 Flink版产品使用合集之MongoDB CDC connector的全量快照功能可以并发读取吗

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:Flink CDC 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?


Flink CDC oracle cdc2.4.1 oracle 12c 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?


参考回答:

这个问题可能是由于Oracle CDC的捕获策略或者Flink Oracle CDC connector的实现导致的。在Oracle 12c中,默认的捕获策略是"capture all changes",这意味着它会将所有类型的DML(包括UPDATE)记录为INSERT和DELETE。这样,当你从CDC获取UPDATE记录时,你可能会发现许多字段是NULL,因为这些字段在原始的行中没有值。

为了解决这个问题,你可以尝试以下几种方法:

  1. 更改Oracle的捕获策略:你可以尝试将Oracle的捕获策略更改为"capture before and after images",这样你就可以获取到原始行和新行的完整信息,而不是只有DML操作的类型和键值。
  2. 优化Flink Oracle CDC connector的实现:你可以尝试向Flink的开发者报告这个问题,看看他们是否可以优化Flink Oracle CDC connector的实现,以便更好地处理UPDATE记录的NULL值。
  3. 使用其他的数据源:如果你无法解决这个问题,你也可以考虑使用其他的数据源,例如MySQL、PostgreSQL等,这些数据库的CDC实现可能没有这个问题。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567438


问题二:Flink CDC那个2.4.2的包出来了吗?


Flink CDC那个2.4.2的包出来了吗?maven仓库貌似还没有


参考回答:

可能还要等会,我早上起来才发现OSS上的构件发布忘记close,还需要一会,可以用了我会在群里挂公告


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567437


问题三:oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?


oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?datax做存量同步,同时cdc做增量同步,这个方案是不是也可以,近实时性要求


参考回答:

datax全量同步, 然后根据时间戳定时跑增量数据. (如果你们实时性要求不高的话, 一般跑增量就30分钟一次).是可以的,但是要保证你的目标库要有幂等性, 同一条数据插入几次,不会重复


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567432


问题四:Flink CDC mongo cdc全量快照不能并发读么?


Flink CDC mongo cdc全量快照不能并发读么?


参考回答:

可以的


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567430


问题五:Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?


Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?


参考回答:

Oracle CDC同时读取重做日志和归档日志文件。重做日志,也称为在线重做日志,用来记录数据发生事务的信息以及Oracle内部行为引起的数据库变化信息。归档日志文件,也被称为归档重做日志,是已经由Oracle写入在线重做日志文件的数据文件的拷贝。在使用CDC Replication与Oracle数据库一起操作时,需要对这两类日志进行物理访问,并保留这些日志,直到该产品关闭或隐藏。此外,还需要配置补充日志记录以满足CDC Replication的需求。所以,Oracle CDC在工作时会同时读取这两种类型的日志。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567429

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
运维 数据可视化 数据处理
实时计算Flink场景实践和核心功能体验 评测
实时计算Flink场景实践和核心功能体验 评测
692 158
|
存储 Kubernetes 调度
|
流计算 开发者
【开发者评测】实时计算Flink场景实践和核心功能体验测评获奖名单公布!
【开发者评测】实时计算Flink场景实践和核心功能体验测评获奖名单公布!
293 1
|
消息中间件 监控 数据可视化
实时计算Flink场景实践和核心功能体验
本文详细评测了阿里云实时计算Flink版,从产品引导、文档帮助、功能满足度等方面进行了全面分析。产品界面设计友好,文档丰富实用,数据开发和运维体验优秀,具备出色的实时性和动态扩展性。同时,提出了针对业务场景的改进建议,包括功能定制化增强、高级分析功能拓展及可视化功能提升。文章还探讨了产品与阿里云内部产品及第三方工具的联动潜力,展示了其在多云架构和跨平台应用中的广阔前景。
486 9
|
运维 监控 安全
实时计算Flink场景实践和核心功能体验
实时计算Flink场景实践和核心功能体验
|
SQL 流计算
Flink SQL 在快手实践问题之Window TVF改进窗口聚合功能如何解决
Flink SQL 在快手实践问题之Window TVF改进窗口聚合功能如何解决
414 1
|
SQL 存储 OLAP
OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决
OneSQL OLAP实践问题之Flink SQL Gateway的功能如何解决
468 1
|
11月前
|
存储 分布式计算 数据处理
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
阿里云实时计算Flink团队,全球领先的流计算引擎缔造者,支撑双11万亿级数据处理,推动Apache Flink技术发展。现招募Flink执行引擎、存储引擎、数据通道、平台管控及产品经理人才,地点覆盖北京、杭州、上海。技术深度参与开源核心,打造企业级实时计算解决方案,助力全球企业实现毫秒洞察。
899 0
「48小时极速反馈」阿里云实时计算Flink广招天下英雄
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多