Flink CDC 数据源问题之连接释放冲突如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

问题一:请教一下, flink oracle cdc , job启动可以获取全量源表数据, 但是源表执行?


请教一下, flink oracle cdc , job启动可以获取全量源表数据, 但是源表执行insert后, sink 没有数据同步输出, 这是什么原因?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/514175?spm=a2c6h.14164896.0.0.eb8dd9dfbHD5jL


问题二:请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢,目前我是每条数据操作后会释放,但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题,您遇到过吗?


大佬,请问Flink CDC中oraclecdc 写数据出现的游标问题怎么解决呢,目前我是每条数据操作后会释放,但是发现多任务写入同一数据源的时候会出现数据库连接释放冲突问题,您遇到过吗?


参考回答:

不会oraclecdc哦


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519693?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs


问题三:Flink CDC中今天在同步数据时报这个数值不匹配的问题,能给指导下这是哪块儿的问题么?源mysql 目标:starrocks


大佬,Flink CDC中昨天那个连接数问题解决了,感谢。今天在同步数据时报这个数值不匹配的问题,能给指导下这是哪块儿的问题么?源mysql 目标:starrocks



参考回答:

根据您提供的信息,我猜测您可能在使用 Flink CDC 将 MySQL 数据同步到 Starrocks 存储桶中。

在使用 Flink CDC 进行数据同步时,可能会出现数值不匹配的问题。这通常是因为源数据库或目标存储桶中的某些数值与预期的数值不匹配。导致这个问题的原因可能有很多,例如数据库或存储桶的配置错误、数据更改的时间戳不同等等。

如果您遇到了这个问题,可以尝试以下方法来解决:

检查源数据库和目标存储桶的配置是否正确。确保 Starrocks 存储桶已经正确配置并能够与 MySQL 源数据库进行通信。

检查源数据库和目标存储桶的时间戳是否匹配。如果您的源数据库和目标存储桶的时间戳不同,可能会导致数值不匹配。您可以使用 Flink CDC 的 cdc.metastore() 方法获取当前作业的 Metastore 对象,并使用该对象获取源数据库和目标存储桶的时间戳。

检查源数据库和目标存储桶中的数值是否匹配。您可以使用 Flink CDC 的 cdc.addData() 方法将数据同步到 Starrocks 存储桶中,并在作业执行期间监控数据同步的状态。如果发现数值不匹配,您可以手动干预并修正数据。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519717?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs


问题四:Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红


大佬们?Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红了?



SET 'parallelism.default' = '1';SET 'pipeline.max-parallelism' = '10'; 这两个吗?我设置了这两个参数 但是下游parall 还是1



大佬 我现在把源设置为了1;sink设置为了10; 但是sink会报错; 如果source为1 sink为1, sink没办法消费这么多全量数据 500W左右,消费能力不够,一直在消费。比如统计到了500w+, 然后又会从0开始统计,这样循环往复,insert到sink的时候,insert到sink的时候



类似这样,payoder.是订单表 source



参考回答:

加大并行,cdc并行度只有1,Jdbc消费数据?PAY order是cdc?


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519764?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs


问题五:请问 一个flink-cdc 任务 可以连 俩个不同mysql数据源吗? 二个完全不同的 mysql实例


请问 一个flink-cdc 任务 可以连 俩个不同mysql数据源吗? 二个完全不同的 mysql实例


参考回答:

可以


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/452531?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61


问题六:我这边目前情况是:oracle cdc,flink1.16版本,我启动了三十多个job,每个job都是多张表进行关联,目前oracle源表数据量不大,但是启动之后会将oracle服务器(100G内存左右)资源耗尽,最后报错ora-04030,不知道有没有遇见过类似的情况,如何调优之类的


Flink CDC 大家好,请教个问题,我这边目前情况是:oracle cdc,flink1.16版本,我启动了三十多个job,每个job都是多张表进行关联,目前oracle源表数据量不大,但是启动之后会将oracle服务器(100G内存左右)资源耗尽,最后报错ora-04030,不知道有没有遇见过类似的情况,如何调优之类的


参考回答:

报错内存不足,建议先排查一下多表关联的时候是否有笛卡尔积的情况,如果代码整体没有问题,可以看一下PGA和SGA的占比,然后show parameter sga_max_size看一下单个进程的最大值,如果太小,可以调大再尝试


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/472013?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61


问题七:需要create table,这样对用不是太方便。理想方式,只需要配置数据源连接,通过catalog 自动查找表。flink cdc 怎么定制这样的catalog? SELECT id, UPPER(name), description, weight FROM mysql_binlog;


需要create table,这样对用不是太方便。理想方式,只需要配置数据源连接,通过catalog 自动查找表。flink cdc 怎么定制这样的catalog? SELECT id, UPPER(name), description, weight FROM mysql_binlog;


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/470517?spm=a2c6h.14164896.0.0.1bf2d9dfeERj61

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
2月前
|
Kubernetes 流计算 Perl
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
42 7
|
3天前
|
SQL 运维 Cloud Native
基于OceanBase+Flink CDC,云粒智慧实时数仓演进之路
本文讲述了其数据中台在传统数仓技术框架下做的一系列努力后,跨进 FlinkCDC 结合 OceanBase 的实时数仓演进过程。
179 2
 基于OceanBase+Flink CDC,云粒智慧实时数仓演进之路
|
26天前
|
SQL 运维 DataWorks
Flink CDC在阿里云DataWorks数据集成应用实践
本文整理自阿里云 DataWorks 数据集成团队的高级技术专家 王明亚(云时)老师在 Flink Forward Asia 2023 中数据集成专场的分享。
517 2
Flink CDC在阿里云DataWorks数据集成应用实践
|
2月前
|
消息中间件 Kafka 流计算
如果有多个版本的Flink CDC在同一环境中运行,可能会导致Debezium版本冲突
【2月更文挑战第30天】如果有多个版本的Flink CDC在同一环境中运行,可能会导致Debezium版本冲突
22 2
|
2月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1624 2
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
3月前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
597 5
|
2月前
|
SQL Java API
官宣|Apache Flink 1.19 发布公告
Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.19.0。
1628 2
官宣|Apache Flink 1.19 发布公告
|
2月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
289 3
|
2月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
169 0
|
2月前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
95 1

相关产品

  • 实时计算 Flink版