实时计算 Flink版产品使用合集之MongoDB CDC connector的全量快照功能可以并发读取吗

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:Flink CDC 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?


Flink CDC oracle cdc2.4.1 oracle 12c 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?


参考回答:

这个问题可能是由于Oracle CDC的捕获策略或者Flink Oracle CDC connector的实现导致的。在Oracle 12c中,默认的捕获策略是"capture all changes",这意味着它会将所有类型的DML(包括UPDATE)记录为INSERT和DELETE。这样,当你从CDC获取UPDATE记录时,你可能会发现许多字段是NULL,因为这些字段在原始的行中没有值。

为了解决这个问题,你可以尝试以下几种方法:

  1. 更改Oracle的捕获策略:你可以尝试将Oracle的捕获策略更改为"capture before and after images",这样你就可以获取到原始行和新行的完整信息,而不是只有DML操作的类型和键值。
  2. 优化Flink Oracle CDC connector的实现:你可以尝试向Flink的开发者报告这个问题,看看他们是否可以优化Flink Oracle CDC connector的实现,以便更好地处理UPDATE记录的NULL值。
  3. 使用其他的数据源:如果你无法解决这个问题,你也可以考虑使用其他的数据源,例如MySQL、PostgreSQL等,这些数据库的CDC实现可能没有这个问题。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567438


问题二:Flink CDC那个2.4.2的包出来了吗?


Flink CDC那个2.4.2的包出来了吗?maven仓库貌似还没有


参考回答:

可能还要等会,我早上起来才发现OSS上的构件发布忘记close,还需要一会,可以用了我会在群里挂公告


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567437


问题三:oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?


oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?datax做存量同步,同时cdc做增量同步,这个方案是不是也可以,近实时性要求


参考回答:

datax全量同步, 然后根据时间戳定时跑增量数据. (如果你们实时性要求不高的话, 一般跑增量就30分钟一次).是可以的,但是要保证你的目标库要有幂等性, 同一条数据插入几次,不会重复


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567432


问题四:Flink CDC mongo cdc全量快照不能并发读么?


Flink CDC mongo cdc全量快照不能并发读么?


参考回答:

可以的


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567430


问题五:Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?


Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?


参考回答:

Oracle CDC同时读取重做日志和归档日志文件。重做日志,也称为在线重做日志,用来记录数据发生事务的信息以及Oracle内部行为引起的数据库变化信息。归档日志文件,也被称为归档重做日志,是已经由Oracle写入在线重做日志文件的数据文件的拷贝。在使用CDC Replication与Oracle数据库一起操作时,需要对这两类日志进行物理访问,并保留这些日志,直到该产品关闭或隐藏。此外,还需要配置补充日志记录以满足CDC Replication的需求。所以,Oracle CDC在工作时会同时读取这两种类型的日志。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567429

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
前端开发 关系型数据库 MySQL
开源测试平台横向测评系列『流马』篇:流马部署
【简介篇】 • 项目概述:技术栈、工作原理 • 项目功能简介:功能特点 【部署篇】 • 部署规划 • 依赖环境部署(JDK、MySQ、NGINX、Git、NodeJS、Python3) • 代码打包:克隆项目、前端代码打包、后端代码打包 • 项目部署:前端部署、后端部署、执行引擎部署
开源测试平台横向测评系列『流马』篇:流马部署
|
机器学习/深度学习 存储 人工智能
阿里巴巴开源GNN框架Graph-Learn
项目地址:https://github.com/alibaba/graph-learn 阿里巴巴近期开源了面向图神经网络(GNN)的框架Graph-Learn(GL,原AliGraph)。框架由阿里内部团队研发,研发同学分别来自计算平台事业部-PAI团队,新零售智能引擎事业群-智能计算实验室,以及安全部-数据与算法团队。
4813 0
阿里巴巴开源GNN框架Graph-Learn
|
机器学习/深度学习 TensorFlow 算法框架/工具
全图化引擎(AI·OS)中的编译技术
全图化引擎又称算子执行引擎,它的介绍可以参考从HA3到AI OS -- 全图化引擎破茧之路。本文从算子化的视角介绍了编译技术在全图化引擎中的运用。主要内容有: 通过脚本语言扩展通用算子上的用户订制能力,目前这些通用算子包括scorer算子,filter算子等。
11248 0
|
算法 Java 关系型数据库
【Java小工匠聊密码学】--非对称加密--DH密钥交换算法
1、DH密钥交换概述 Diffie-Hellman由Whitfield Diffie和Martin Hellman在1976年公布的一种密钥一致性算法。Diffie-Hellman是一种建立密钥的方法,而不是加密方法。
2112 0
|
JSON API 数据格式
微信公众平台自定义菜单接口API指南
微信公众平台开发模式自定义菜单接口API指南  开发实现方法,请查看  微信公众平台开发(58)自定义菜单   简介 开发者获取使用凭证(如何获取凭证)后,可以使用该凭证对公众账号的自定义菜单进行创建、查询和删除等操作。
2495 0
利用微搭低代码实现附件的上传和下载
利用微搭低代码实现附件的上传和下载
利用微搭低代码实现附件的上传和下载
|
4月前
|
缓存 API 开发者
阿里巴巴国际站商品详情接口深度解析与实战指南
阿里巴巴国际站开放平台提供`alibaba.product.get`等API,支持获取商品全维度数据(标题、价格、SKU、多媒体、交易量、供应链、SEO等)。仅限企业认证接入,需OAuth2.0签名认证,适用于选品、比价、ERP集成等场景。(239字)

相关产品

  • 实时计算 Flink版