备案控制台

开发者社区大数据与机器学习实时计算 Flink 正文

请问mysql flink cdc 有人遇到数据量对不上的问题吗？binlog日志是对的，最后删除了

请问mysql flink cdc 有人遇到数据量对不上的问题吗？binlog日志是对的，最后删除了，但是doris里数据还存在。是sink并发度设置问题吗，导致导入顺序错乱？

展开

收起

十一0204 2023-04-05 10:02:08 228 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答

写回答

取消提交回答

意中人jswy

意中人就是我呀！

业务里软删除，用一个字段做删除标识。此回答整理自钉群“Flink CDC 社区”

2023-04-05 11:13:11

赞同展开评论

问答分类：

关系型数据库 MySQL 流计算云数据库 RDS MySQL 版日志服务实时计算 Flink版

问答标签：

日志服务binlog mysql日志服务云数据库 RDS MySQL 版日志云数据库 RDS MySQL 版binlog mysql binlog

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

相关问答

实时计算 Flink版

flink每次全量覆盖是因为基于日志的不准吗?

40

1

0

Flink在不重新建catalog的情况下，是不是把这个宽表的binlog属性这样改一下就行？

56

1

0

在Flink CDC中，请问下是没有数据，但却有binlog吗？

51

1

0

Flink有没有什么参数可以设置mysql作为source的 binlog的保存时长？

52

1

0

对于Flink CDC，怎么在解析binlog的时候判断是datetime类型，然后减8小时给它？

48

1

0

实时计算Flink报错binlog probably contains events gene...

45

1

0

Flink日志中打印Chunk compactor is not making any pro...

40

1

0

实时计算Flink两个任务消费同一个源表的binlog会相互影响吗

63

1

0

flinkcdc mysql 在同步binlog时是同步一份还是多份给 flink?

61

1

0

Flink中Tm的日志默认是多少行？

409

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

收录在圈子:

阿里云实时计算Flink

199211

+ 订阅

实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

【YashanDB知识库】多表更新报错 YAS-04345 multi-table update is not supported

Linux 手动安装快速部署 LNMP 环境实战

【YashanDB知识库】yashandb执行包含带oracle dblink表的sql时性能差

【YashanDB知识库】YMP迁移oracle不兼容给用户授权高级包

【YashanDB知识库】YashanDB-OCI-快速上手

热门讨论

热门文章

Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题

flink cdc 有没得官方介绍文档？

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

Flink CDC有遇到过这个问题吗？

Flink-CDC 文档网站地址是什么？

Hive 上为啥查不到数据呢？Hdfs 上有对应的文件，还有大佬知道什么原因的？

flink大作业启动频繁报akka.pattern.AskTimeoutException 大家有

Flink这个未授权访问漏洞有什么解决方案吗？

展开全部

Flink on YARN（下）：常见问题与排查思路

vivo基于Paimon的湖仓一体落地实践

Fluss：面向实时分析设计的下一代流存储

阿里妈妈基于 Flink+Paimon 的 Lakehouse 应用实践

资料合集｜Flink Forward Asia 2024 上海站

实时计算引擎 Flink：从入门到深入理解

实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc'，该如何解决

Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架

实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎

FeatHub：流批一体的实时特征工程平台

展开全部

还有其他疑问?