问题一:用flinkcdc2.2.1造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?
用flinkcdc2.2.1同步oracle数据库 造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?如果删除日志的话 又会报scn找不到的错误 造成任务失败 必须得重启
参考回答:
如果你使用的是 Flink CDC v2.2.1,那么有可能是因为 Flink CDC 在处理大量数据时产生大量归档日志而导致归档日志爆炸式增长。以下是几个可能的解决方法:
- 减少 Flink CDC 采样频率:降低 Flink CDC 采样频率可以让 Flink CDC 更少地生成归档日志,减小归档日志的增长速度。
- 调整归档日志策略:你可以调整 Oracle 数据库的归档日志策略,使其周期性地删除旧的日志。例如,可以设置 ARCHIVELOGFILECOUNT 和 ARCHIVELOGDEST 参数,限制归档日志的数量和大小。
- 调整连接池大小:Flink CDC 使用连接池处理连接请求,增加连接池大小可能会有助于减轻归档日志的增长速度。
- 使用效率更高的数据库表结构:检查你的表结构和索引设置是否合理,并尝试优化数据库表结构以提高效率。
- 关闭归档日志:禁用归档日志将彻底解决问题,但会导致 Flink CDC 无法捕获全部更改,影响数据一致性。
如果你不想删除归档日志,并且希望能够从归档日志中恢复数据,可以尝试使用 RMAN 工具来备份和恢复归档日志,并尝试修复归档日志的 SCN 错误。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567895
问题二:Flink CDC并行度为1,接收发送字节都为0,有什么办法显示接收和发送字节数?
Flink CDC并行度为1,接收发送字节都为0,有什么办法显示接收和发送字节数?paimon写到sr,读写并行度都设置为1
参考回答:
如果有数据过去了,这就是连接器的问题了,Flink的Records Received相关指标用于描述不同Operator之间的数据通信,当作业被优化为一个Operator时,该指标值恒为0。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567893
问题三:Flink CDC维表的数据只是在flink任务起来就一直不更新吗 哪怕是这个维表数据有变动?
Flink CDC维表的数据只是在flink任务起来就一直不更新吗 哪怕是这个维表数据有变动?
参考回答:
FOR SYSTEM_TIME AS OF 语法你可以了解下,你是从savepoint启动的话,状态是不兼容的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567891
问题四:Flink Kubernetes Operator 和Native Kubernetes 有啥区别?
Flink Kubernetes Operator 和Native Kubernetes 有啥区别?
参考回答:
Flink Kubernetes Operator 和 Native Kubernetes 在部署 Flink 应用时有一些差异:
- 部署方式:Native Kubernetes 需要通过 kubectl 或 Helm 进行部署,而 Flink Kubernetes Operator 通过 Operator 进行自动化部署。
- 相关操作:Native Kubernetes 需要自己管理 pod 的生命周期,而 Flink Kubernetes Operator 可以为 pod 提供自动化管理和调度。
- 资源管理:Flink Kubernetes Operator 可以更好地管理和协调资源,以减少资源浪费和冲突。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567886
问题五:Flink CDC用那种方式部署在k8s里面的?
Flink CDC用那种方式部署在k8s里面的?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567885