开发者社区> 问答> 正文

百问求答(9)Flink CDC问题专场!回答问题赢康宁颈部按摩仪等好礼

阿里云开发者社区作为一个充满活力的技术社区,有许多技术同道在这里勤学好问。为了让这些用户的疑惑得到解答,我们举办了“百问求答”活动,本期为Flink CDC专场,期待用你的技术知识储备帮助同行解决难题,赢取康宁颈部按摩仪等好礼,还有机会成为阿里云开发者社区“乘风问答官”,享受专属权益!赶快参与起来!

奖项设置:

image.png

重要说明

图文并茂定义:图片需要能起到辅助回答的说明作用,如配合回答内容的流程截图、界面截图等,每个图文并茂的回答需至少包含2张图片,纯插图、代码截图等不计入内;有效的图文并茂回答示例:

https://developer.aliyun.com/ask/498337 该问题中“凌云cloud”的回答

https://developer.aliyun.com/ask/493319 该问题中“凌云cloud”和“飞云觅宙”的回答

乘风问答官权益可点击https://developer.aliyun.com/ask/469378进行查看。

活动流程

1、点击https://yida.alibaba-inc.com/o/wdg进行报名(未报名用户将视为未参与,请大家填写表单进行报名)

2、回答文末Flink CDC问题

活动时间

2023年8月14日至8月28日24:00

获奖名单及奖品邮寄时间

获奖名单将于活动结束后7个工作日公布,奖品将于10个工作日内进行邮寄,节假日顺延。

活动规则及注意事项

1、本活动回答数据不记录问答官排位赛活动中;

2、 回答仅限文章链接中的问题,其他回答不计数;

3、 回答请解答能力范围之内的问题进行,充数回答将不计算在内,如111、等与问题无关的回答;

4、 问题及回答需为中文,英文不记录数据;

5、 回答发布后将进入审核状态,审核完成即可查看;

6、 标题党、黑稿、通稿、包含违法违规、未被许可的商业推广、外站链接、非原创内容、营销软文、抄袭嫌疑的文章审核将不予通过,同时取消参赛资格;

7、奖品不叠加,以最高级发放。

问题链接:

1、目前flinkCDC对Oracle数据库同步支持的怎么样啊,特别Oracle数据库有那种长的大事务的任务的,flinkCDC同步性能好不好,会不会丢失数据有bug什么的呀?

2、Flink CDC中关于开启新增的分表不自动采集,这个行为是就这么设计的吗,我看源码这里是直接判断?

3、Flink CDC可不可以在从sp,或是cp恢复的时候重新读取下元数据,这个新增字段的时候就只用停掉,然后再接上scn就好了?

4、Flink CDC中我采集Oracle,历史数据有10几条,但是全量就采集出来4条?

5、flinkcdc怎么同步oracle中的rowid?

6、谁有flinkcdc 到gaussdb的实践案例?有相关连接器吗

7、Flink CDC哪位大佬知道flinkcdc配置时间戳后读不出来数据咋搞呀?

8、FLinkCDC连接Oracle数据库,造成PGA内存增加,最后PGA成负值的情况

9、在使用flinkcdc 同步 oceanbase(企业版本)数据到kafka时,logproxy.host 参数怎么获取?

10、flinkcdc同步db2的表,需要对db2做哪些配置啊?

11、flinkcdc oracle 必须用dba用户吗?

12、flinkcdc 能连翰高数据库吗?

13、flinkcdc读取oracle时,想把sid改成servers_name 应该修改源码?

14、flinkcdc从特定位置拉取的时候从checkpoint恢复报错是什么原因呀?从特定位置启动和特定gtid启动都不行

15、flinkcdc2.4底层debezium版本的多少?

16、有没有遇到过用FlinkCDC采集Oracle,报字典内部错误的情况?

17、用flinkcdc-oracle2.2.1全量同步数据到kafka,开始很快,然后掉一大截?

18、大家都是怎么测试flinkcdc的性能的?我们想压测

19、FLINKCDC-1.13.0 多个任务同时向一个表里插入,是不是会有权限控制问题?

20、有使用flinkcdc同步tidb数据吗 ? 测试发现小表是可以同步的 大表的话一直卡在read snapshot events 读全量数据上面 ?

21、我刚刚用flinkcdc-oracle2.2 连oracle-19c提示我sid不识别 有大佬分享一下jar包吗?

22、FLINKCDC-1.13.0 多个任务同时向一个表里插入,是不是会有权限控制问题?

23、我们使用flinkcdc运行中遇到的问题问题,此任务是读取kafka服务的数据流,并flinkcdc中的mysqlcdc读取mysql中维表补齐一些维表数据 最后写入到数据库报错

24、我这边做一个flinkcdc断点续传测试,写代码之后打jar包运行,完全没问题。我设置了savepoint之后,关闭任务,再用savepoint重启,重启之后报错,状态一直显示restarting?

25、FlinkCDC采集Oracle数据一段时间后(通常是历史数据采集完成后不久),报错:Logminer 字典内部错误,是什么原因呀?

26、flinkcdc同步时候原表目标表的字符集不一样会受到影响吗?

27、flinkcdc 能通过快照id 去消费吗?

28、使用FlinkCDC采集到Blob数据之后怎么处理,比如说我从Oracle采集,再写入到另一个Oracle?

29、flinkcdc有大佬监控整个postgresql库的吗,性能怎么样?

30、使用flinkcdc读取postgressql的多个表的时候,在读取这个表的时候出现了错误。但是我把代码改成只读取这一个表的时候又没有出现问题。这种情况应该考虑哪里的问题?是不是内存不够?

31、flinkcdc2.4版本会支持pg(11.6版本)备库数据实时同步吗?

32、我flinkcdc同步mysql 数据sink到hologres报错 字段包含空字节信息 能这么替换解决么 我replace还是有同样的错误?

33、目前flinkCDC对Oracle数据库同步支持的怎么样啊,特别Oracle数据库有那种长的大事务的任务的,flinkCDC同步性能好不好,会不会丢失数据有bug什么的呀?

34、flinkcdc2.4版本会支持同步pg备库数据吗?

35、flinkcdc我安装包都重新解压了,怎么感觉历史执行的任务还在?这个要怎么完全清理掉?

36、请问Flink CDC这个是什么原因啊?我在网上看是说jar包冲突

37、flinkcdc通过vip连接MySQL(一主一备),如果发生主备切换,该怎么弄呀?

38、flinkcdc是不是不支持在Oracle 备库跑的?我们今天直接生产主库连接打爆了?

39、flinkCDC必须是全表字段授权吗,还是支持部分字段授权?

40、FlinkCDC读取表,源表是不是得所有列有权限可见,不能只授权部分字段可读?

41、Flink CDC中 oracle19C flinkCdc2.3.0版本,使用DataStream Source,非CDB数据库 表和数据库都必须开补充日志吗? 数据库开了补充日志时报错表要开补充日志,给表开过之后,又报无效的列类型,该如何解决?

42、有没有人在做flinkcdc 同步mysql 到hudi的时候,同步hive数据 比较慢?

43、flinkcdc 2.3现在 应该可以兼容 flink1.17版本吧?

44、flinkcdc怎么监测表结构的变化呀

45、flinkcdc 怎么做批?

46、flinkcdc可以监听到视图变化么?

47、flinkcdc从数据源表获取数据,如果因为网络慢,造成很长时间才能获取,导致超时复制槽被认定为非激活状态后关闭,大家遇到过吗?

48、flinkcdc能从pg的备库采集数据吗?

49、用flinkcdc sql的形式连过oracle,为什么我的不报错,也不打印结果

50、springboot+引入flink和flinkcdc的jar,为什么不建议在生产跑,造成资源不足的原因是什么呢,datastreamAPI接入方式只适合测试用用吗

51、flinkcdc能从pg的备库采集数据吗?

52、用FLinkCDC 监听数据库订单数据,然后用flinksql interval 3一次 做GroupAggregate 操作 推送到大屏,结果发现count() sum操作把之前数据也计算了?这一块是我sink 的 PRIMARY KEY 没做好还是其他原因? 新手小白,不设置时间窗口不可以吗?

53、flinkcdc自定义反序列化器,不能直接返回SourceRecord类型嘛

54、flinkcdc想做每日离线同步,如何扫完全表快照自动停止flink任务呀

55、flinkcdc可以基于查询做同步吗?不通过日志,根据记录的时间戳做增量同步(不考虑删除的场景)

56、FlinkCDC 同步oracle11g到mysql,需要怎么设置log.mining.batch.size.max的值?现在试了10w,100w,任务运行6个小时后,cdc就没效果了,会提示以下信息?

57、flinkcdc 表和源表能分开部署么?

58、flink1.16.1 配合flinkcdc2.3.0 还需要加上其他依赖吗

59、flinkcdc选择从binlog固定位置启动的话开启checkpoint会报错是什么原因呀?

60、flinkcdc现在支持oceanbase企业版的oracle模式吗

61、部署了flinkcdc demo环境,报错如下,是什么原因?

62、flinkcdc 运行一段时间报这个错是啥原因导致的 ?

63、flinkcdc运行过程中任务异常怎么回事 是反压了么?

64、请问大家注意过flinkcdc 2.3.0 读取oracle连接数一直增长的问题吗?

65、请问flinkcdc同步oracle数据 连接数一直在增长是什么原因呢 ?

66、请问大家flinkcdc同步oracle全量很慢 有什么好的办法吗?

67、flinkcdc是不是需要数据库的读写权限啊?如果是只读数据库,是不是不能用啊?

68、使用flinkcdc 连接mysql读取数据,会提示找不到binlog信息,为什么?

69、flinkcdc读取时怎么限制读取速度?

70、你们使用flinkcdc的时候内存占用打吗,我在使用的时候,一直fullgc,不能回收空间

71、flinkcdc2.3.0 读取oracle 为何读不到数据 taskmanager的日志一直卡在这

72、flinkcdc消耗io很严重吗?

73、我用Flink CDC flinkcdc读取postgresql,只能获取到全量数据,获取不到增量数据,是什么问题

74、flinkcdc-mongo有没有办法监控到采集的堆积/延时情况?

75、在数据库里显示的是数字,用flinkcdc采集反序列化后成了字符串了,而且不是数字的字符串

76、我用flinkcdc读取postgresql,只能获取到全量数据,获取不到增量数据,是什么问题

77、flinkcdc 打完包比较大 怎么瘦身

78、请问使用FlinkCDC监控MySQL的binlog,FlinkCDC使用的这个MySQL用户需要赋予某些权限吗?

79、Flink CDC flinkcdc-doris fenodes参数可以填多个fe节点吗?

80、flinkcdc采集oracle 增加新的表时 从checkpoint恢复 有时候报错新增的表无法识别

81、flinkcdc连接mysql ,无法连接这个问题遇到过吗,超时时间也加长了

82、flinkcdc在sql模式下同步表是不是只能一对一同步的,如果我有200多张表岂不是要拿200多次binlog? 拿binlog 是拿全量过来再过滤吗?

83、FlinkCDC同步MySQL数据表,表字段变少了有人碰到过嘛?

84、通过flinkcdc同步mysql之后的数据是原始数据库的逐条执行的记录。怎么通过这些记录反推原始的表呢?

85、flinkcdc读取mysql,配置mysql账号 只配置可读权限可以么?

86、目前的FlinkCDC支持Oracle21c吗?实测Oracle21c各种问题

87、FlinkCDC可以对MySQL中的某些字段做特殊过滤吗,比如有的blob类型的字段长度过长,写入kafka会有异常

88、有没有碰到过flinkcdc丢数的问题呀?

89、flinkcdc获取数据报空指针是因为啥,是不是因为我们数据库是tidb模拟的mysql,我用的是mysql的source

90、flinkcdc同步oracle时,能否同步其ddl语句?如何设置?

91、flinkCDC对业务库在高峰期会有什么影响吗?

92、现在我使用FlinkCDC从Mysql导入到Doris,1分钟10W数据 这正常吗 有啥参数调整可以提高导入效率吗?还是跟硬件配置正相关吗?5M带宽,这个参数貌似也没有提高效率。

93、官网demo报无效的列索引,困扰我两天了,能否帮看看,flinkcdc oracle 2.2.1

94、flinkcdc在读取数据同步到另一个数据库的时候,一些update的操作是如何保证顺序的呢?

95、flinkcdc是不是不支持greenplum啊?

96、Flinkcdc导出到pg需要导入什么依赖

97、flinkcdc的时候 checkpoints里的mysql binlog pos不变吗?

98、FlinkCDC-Mysql-SQL 多表join,sink怎么解决一对多的问题?

99、flinkcdc 增量读取binlog数据比较慢 有积压 要怎么优化呢?

100、Flinkcdc 连接oracle 数据库,读取速度每秒多少

展开
收起
提个问题 2023-08-14 09:36:46 1685 9
18 条回答
写回答
取消 提交回答
  • 不是很聪明,但是很努力。

    积极参加

    2023-09-12 16:11:46
    赞同 1 展开评论 打赏
  • 积极参加

    2023-09-12 08:05:39
    赞同 展开评论 打赏
  • 积极参加

    2023-09-11 16:15:10
    赞同 展开评论 打赏
  • 积极参与

    2023-09-11 09:33:39
    赞同 展开评论 打赏
  • 积极参与

    2023-09-09 10:53:38
    赞同 展开评论 打赏
  • 艺术家的状态比他的艺术更为重要

    积极参与

    2023-08-28 22:50:49
    赞同 3 展开评论 打赏
  • 积极参与

    2023-08-28 10:31:30
    赞同 3 展开评论 打赏
  • 必须参加

    2023-08-26 12:37:32
    赞同 3 展开评论 打赏
  • 北京阿里云ACE会长

    1-100 完成

    2023-08-24 08:20:03
    赞同 2 展开评论 打赏
  • 肯定参加

    2023-08-23 11:12:51
    赞同 3 展开评论 打赏
  • 必须参加

    2023-08-22 08:34:37
    赞同 4 展开评论 打赏
  • 深耕大数据和人工智能

    积极参与

    2023-08-18 22:15:24
    赞同 4 展开评论 打赏
  • 资深技术专家,全网粉丝10W+。主攻技术开发,擅长分享、写文、测评。

    必须参加

    2023-08-15 15:07:31
    赞同 5 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    必须参加

    2023-08-15 14:17:04
    赞同 4 展开评论 打赏
  • coder at work

    争取拿名次, 冲冲冲!

    2023-08-14 21:31:33
    赞同 2 展开评论 打赏
  • MJJ

    争取拿个奖品

    2023-08-14 20:40:56
    赞同 2 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    争取拿个奖品

    2023-08-14 12:47:34
    赞同 3 展开评论 打赏
  • 全栈JAVA领域创作者

    争取拿个第一,冲冲冲

    2023-08-14 12:29:31
    赞同 2 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载