实时计算 Flink版产品使用问题之假如mysql的binlog有很多个文件,按什么顺序扫描

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到吗?

在测试环境用flink cdc正则同步mysql分表,当作业启动后有新增分表,也能同步到,但是在生产上的mysql表就不能,还有对于新增字段,这边是用api整条数据同步的,测试环境也能同步到,生产上新增字段的数据竟然也不能同步到,这是和mysql的配置有关么?这样就不支持在扩大采集库的范围后从savepoint恢复。



参考答案:

动态加表都必须启停作业才能实现,不能自动加表。其实你可以用两个cdc任务, 1个专门用于分表的, 另外一个就用于不分表的,或者直接升级到3.1这些都不用考虑了。

https://github.com/apache/flink-cdc/issues/2306



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/607253



问题二:FLINk CDC 2.4版本文档是这个吗?好像和以前的差不多?

FLINk CDC 2.4版本文档是这个吗?好像和以前的差不多?



参考答案:

中文资料链接,CDC Source 文档就是2.4版本的。2.4 和 3.x,对于老的CDC source,一样的。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/607250



问题三:Flink CDC中如果要保证业务的同时,进行同步flinkcdc可以控制速率吗?api怎么设置啊?

Flink CDC中如果要保证业务的同时,进行同步flinkcdc可以控制速率吗?api怎么设置啊?有具体可以设置的参数名字吗?



参考答案:

用api可以,自己调API开发,自己做条数限制。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/607248



问题四:Flink CDC里oracle全量的时候卡在这里不动了怎么回事呀?

我要同步oracle 无主键表。

启动模式是initial时

如果开启了增量快照,那么我下游print输出的记录条数有问题 输出条数永远和切分出来的chunk数相等

如果不开启增量快照,那么作业直接卡着没有任何反应

是为什么呢?



参考答案:

如果读oracle ,日志疯狂增长的话,应该是需要在with中配置下这两个参数。

'debezium.log.mining.strategy' = 'online_catalog',

'debezium.log.mining.continuous.mine' = 'true' 。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/607241



问题五:Flink CDC里假如mysql的binlog有很多个文件,按什么顺序扫描?

Flink CDC里假如mysql的binlog有很多个文件,一小时一个,用mysql-cdc读取binlog 指定开始策略为时间戳,现在的实现是从第一个binlog文件扫source.ts_ms 还是按照binlog文件的更新时间或者创建时间判断从哪个文件开始扫?



参考答案:

目前的按照时间戳查找就是按照binlog一条条过滤的,如果你binlog文件多且大,就是很慢

,master目前有binglog二分查找算法,可以解决你的问题的。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/607240

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
SQL 存储 API
Flink实践:通过Flink SQL进行SFTP文件的读写操作
虽然 Apache Flink 与 SFTP 之间的直接交互存在一定的限制,但通过一些创造性的方法和技术,我们仍然可以有效地实现对 SFTP 文件的读写操作。这既展现了 Flink 在处理复杂数据场景中的强大能力,也体现了软件工程中常见的问题解决思路——即通过现有工具和一定的间接方法来克服技术障碍。通过这种方式,Flink SQL 成为了处理各种数据源,包括 SFTP 文件,在内的强大工具。
375 15
|
11月前
|
消息中间件 资源调度 大数据
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
157 0
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
容灾 流计算
美团 Flink 大作业部署问题之Checkpoint 的 metadata 文件包含什么信息
美团 Flink 大作业部署问题之Checkpoint 的 metadata 文件包含什么信息
169 1
|
SQL DataWorks 安全
DataWorks产品使用合集之实时同步时如何修改binlog抽取数量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之ODPS数据怎么Merge到MySQL数据库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
191 1
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之mysql节点如何插入数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
192 1
|
SQL 存储 关系型数据库
实时计算 Flink版产品使用问题之同步MySQL多张表的过程中,内存释放依赖于什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
流计算
美团 Flink 大作业部署问题之新启动作业的 Checkpoint 跨作业文件引用的问题要如何避免
美团 Flink 大作业部署问题之新启动作业的 Checkpoint 跨作业文件引用的问题要如何避免
|
20天前
|
安全 关系型数据库 MySQL
MySQL安全最佳实践:保护你的数据库
本文深入探讨了MySQL数据库的安全防护体系,涵盖认证安全、访问控制、网络安全、数据加密、审计监控、备份恢复、操作系统安全、应急响应等多个方面。通过具体配置示例,为企业提供了一套全面的安全实践方案,帮助强化数据库安全,防止数据泄露和未授权访问,保障企业数据资产安全。

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多