问题一:Flink CDC需要自己记下ckid ,然后下次启动的时候要指定一下吗?
Flink CDC需要自己记下ckid ,然后下次启动的时候要指定一下吗?
参考回答:
Flink CDC是Flink社区开发的flink-cdc-connectors组件,这是⼀个可以直接从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source组件。在使⽤Flink CDC时,确实需要记录下ckid。ckid是在Debezium引擎中定义的一个唯一标识符,用于标识每个数据库的特定更改事件。当下次启动任务时,需要通过flink cdc sql命令中的--from-checkpoint选项来指定ckid,以便从上次停止的位置继续处理数据。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566228
问题二:Flink CDC为啥任务采集完内存没有释放啊?
Flink CDC为啥任务采集完内存没有释放啊?
参考回答:
根据您的描述,在运行完Flink CDC任务之后,您注意到内存仍然未被释放。这种情况可能是由于几个原因:
- Flink CDC可能还在运行其他后台进程或任务。如果没有正确地终止它们,则可能会消耗额外的资源,包括内存。
- 如果使用的持久化机制未关闭,则也可能会消耗额外的内存。要确定这一点,请检查持久化机制的详细状态,并确认其是否已完全关闭。
- 您也可能需要查看JVM垃圾收集器的状态。有时候,尽管任务已经结束,但JVM还没有完成清理工作,这也可能导致内存占用过高。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566227
问题三:flinksqk的流式处理中支持lead()函数吗?
flinksqk的流式处理中支持lead()函数吗?
参考回答:
后面的版本支持
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/573784
问题四:flink都是100%占用,请问是什么情况呢?
flink环境中一共2个任务,taskmanager.memory.process.size配成4096m或8092m,Managed Memory都是100%占用,请问是什么情况呢?
参考回答:
如果 TaskManager 上的所有 Managed Memory 占用率达到了 100%,那么可能存在如下原因:
- 您的应用程序需要更多的内存。检查应用对 Managed Memory 的需求,并适当调增 TaskManager 上的总内存。
- 应用程序存在内存溢出的问题。检查应用程序是否占用过多内存,以及是否存在不必要的对象持有。
- 配置有问题。可以调低 TaskManager 的 taskmanager.memory.process.size 配置值,并测试新设置下的效果。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566225
问题五:Flink CDC控制台上取消任务 不会保存savepoint吗?
Flink CDC控制台上取消任务 不会保存savepoint吗?
FLINk CDC 任务今天遇到一条脏数据,然后想开一下容忍行 'sink.properties.max_filter_ratio' = '0.1',
结果好像全部重新消费了,数据有1亿多行
参考回答:
不会
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566224