问题一:在Flink CDC中这种双流join爆红怎么调优,如何解决?
在Flink CDC中这种双流join爆红怎么调优,如何解决?请参考图片:
参考答案:
两种解决思路:
- 减少状态大小:在 Flink Join 中的有效的优化措施就是减少 state key 的数量。在未优化之前 A 流和 B 流的数据往往是存储在单独的两个 State 实例中的,优化思路就是将同 Key 的数据放在一起进行存储,一个 key 的数据只需要存储一份,减少了 key 的数量。
- 转移状态至外存:大 State 会导致 Flink 任务不稳定,就将 State 存储在外存中,让 Flink 任务轻量化,比如将数据存储在 Redis 中,A 流和 B 流中相同 key 的数据共同维护在一个 Redis 的 hashmap 中,以供相互进行关联。
——参考链接。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657827
问题二:在Flink CDC中怎么将paimon数据 写一份到starrocks中去 ?
在Flink CDC中怎么将paimon数据 写一份到starrocks中去 而不是通过 读取paimon的catalog,当外部表读取?
参考答案:
试试 insert into starrocks内部表select from paimon外部表。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657602
问题三:在Flink CDC中有版本支持oracle动态加表吗(一个任务同步多张表,可以动态添加订阅)?
在Flink CDC中有版本支持oracle动态加表吗(一个任务同步多张表,可以动态添加订阅),根据收集的信息mysql、sqlserver是支持的,但是oracle还未支持?
参考答案:
3.2支持
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657845
问题四:在Flink CDC中有2.3.0版本的案例吗?
在Flink CDC中flink tidb cdc 之前2.2.1 升级 2.3.0 之后有些包类都没有了,有2.3.0版本的案例吗?
参考答案:
您可以参考下 2.3 版本的 TiDB 历史文档 。请参考链接:https://github.com/apache/flink-cdc/blob/release-2.3/docs/content/connectors/tidb-cdc.md
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657852
问题五:在Flink CDC中需要查看任务对应binlog-position请问这个监控指标在哪查看?
在Flink CDC中binlog 推送kafka连接器中断,怀疑是binlog被清除了,需要查看任务对应binlog-position请问这个监控指标在哪查看,flink-web-ui里没看见?
参考答案:
tm日志里面有pos
关于本问题的更多回答可点击进行查看: