问题一:Flink CDC支持oracle dg库cdc吗?
Flink CDC支持oracle dg库cdc吗?
参考回答:
是的,Flink CDC确实支持Oracle DG库的CDC。Oracle连接器已经将底层的CDC细节屏蔽,整个实时同步链路,用户只需要几行Flink SQL,不用任何开发Java代码,就可以将Oracle的变更实时捕获。Oracle CDC 连接器支持 LogMiner 和 XStream API 两种方式捕获变更事件。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567848
问题二:托管Flink这怎么进行批调度啊?
托管Flink这怎么进行批调度啊?
参考回答:
在Flink中进行批调度,可以通过启用批执行来使用额外的优化。例如,可以使用不同的关联或聚合策略,以实现更高效的任务调度和故障恢复行为的不同洗牌。为了解决这个问题,Flink 1.15中引入了自适应批作业调度器(Adaptive Batch Scheduler)。这种调度器会根据作业运行时每个算子需要处理的实际数据量来自动推导并行度。此外,Flink全托管支持智能调优和定时调优两种调优模式,可以根据运行过程中实际各个节点的数据量自动决定各个逻辑节点的实际并发度,从而保证每个执行并发处理的数据量大致符合用户预期。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568275
问题三:请问下一个flinksql 提交是怎么分配资源?
请问下一个flinksql 提交是怎么分配资源?并行度,jobmanager cpu与内存,taskmanager cpu与内存?
参考回答:
在 Flink SQL 中,作业提交时,任务管理器 (TaskManager) 和 JobManager 分配资源的方法取决于您的集群配置。
通常情况下,JobManager 负责分配作业,任务管理器负责执行作业。分配资源的过程非常复杂,取决于集群的配置。通常,您可以设置以下参数来控制资源分配:
- parallelism.default:指定了作业的总并行度。
- taskmanager.numberOfTaskSlots:指定了每个任务管理器上可用的任务槽的数量。
- jobmanager.cpuCores:指定了 JobManager 上可用的 CPU 核心数量。
- taskmanager.cpuCores:指定了每个任务管理器上可用的 CPU 核心数量。
- jobmanager.memory.process.size:指定了 JobManager 上可用的内存大小。
- taskmanager.memory.process.size:指定了每个任务管理器上可用的内存大小。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568274
问题四:请问现在Flink的批作业能定时调度吗?或者通过什么方法才能实现定时调度啊?
请问现在Flink的批作业能定时调度吗?或者通过什么方法才能实现定时调度啊?
参考回答:
现在还没有哈,马上十一月中下旬就会发布内置的作业调度器。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568273
问题五:求助,FLinkcdc2.4.0怎样才能捕获oracle19c的ddl记录
求助,大佬们,用github官网release-2.4的oracle-cdc.md中Incremental Snapshot based DataStream (Experimental)案例,注释了 log.mining.continuous.mine配置,19c会报错,可以捕获到dml,怎样才能捕获oracle19c的ddl记录?有没有DataStream详细实现过程分享
参考回答:
对于Oracle 19c的DDL事件捕获,你需要在数据库中启用DDL跟踪功能。以下是步骤:
- 以管理员身份登录到Oracle数据库。
- 在SQL*Plus中,执行以下SQL语句以启用DDL跟踪:
EXEC dbms_audit_enable( object_type => 'DATABASE', audit_trail => 'EXTENDED', events_to_audit => 'DATABASE, DDL');
- 如果你想限制DDL事件的类型,可以在
events_to_audit
参数中指定特定的DDL事件,例如CREATE TABLE
,ALTER TABLE
等。 - 保存并关闭SQL*Plus窗口。
然后,你就可以在GitHub的oracle-cdc项目中找到相应的DataStream实现过程。在这个项目中,有一个名为oracle-cdc-example
的模块,其中包含了一个完整的示例,包括DDL事件的捕获和处理。你可以参考这个示例来实现你自己的需求。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568233