实时计算 Flink版操作报错之遇到Caused by: java.sql.SQLException: ORA-44609: CONTINOUS

实时计算 Flink版操作报错之遇到Caused by: java.sql.SQLException: ORA-44609: CONTINOUS_MINE，该怎么处理

2024-05-23 524

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

问题一：Flink CDC对服务器硬件要求有吗？运行半小时就报错了？

Flink CDC对服务器硬件要求有吗？运行半小时就报错了？

参考回答：

Flink CDC对服务器硬件的要求主要取决于以下几个因素：

总数据量和增量数据量：这两个指标决定了处理任务所需的内存大小和磁盘空间大小。一般地，内存应足够大以便能够存储整个数据流，而磁盘空间则应该足以容纳一段时间内的所有增量数据。
Job数量：在使用Flink CDC处理多个Job时，需要考虑每个Job的任务运行时间和并发度。如果任务运行时间较长或者并发度较高，则可能需要更大的内存和处理器资源来支持。
执行效率：根据任务的实际执行效率来调整硬件配置。例如，在一些场景下可以适当降低处理器频率来节省电力消耗；而在另一些场景下则需要提高处理器频率来提高处理速度。

在考虑这些因素的同时，购买服务器时还需要考虑预算和其他限制。此外，Flink CDC与flink项目是独立的，集成时需要注意版本匹配。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/577349

问题二：Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。能否帮忙看一下呀？

Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。查看日志似乎是找不到checkpoint了。能否帮忙看一下呀？。下面是提交的运行语句，报错图和日志：./bin/flink run-application --target kubernetes-application -Dkubernetes.cluster-id=cluster231205aa -Dkubernetes.rest-service.exposed.type=NodePort -Dkubernetes.namespace=flink -Dkubernetes.jobmanager.service-account=flink-service-account -Dkubernetes.container.image.ref=swr.cn-north-4.myhuaweicloud.com/commons/toll_pro_02:1.17.1 -Dkubernetes.container.image.pull-secrets=regcred3 -Dtaskmanager.memory.process.size=7000m -Dtaskmanager.numberOfTaskSlots=1 --pyModule ls_card_blacklist_id_32 --pyFiles /opt/python_codes/ls_card_blacklist_id_32.py

参考回答：

从您提供的信息来看，Flink CDC在调整binlog保存时间后运行任务时出现了报错。报错信息显示找不到checkpoint。这可能是由于以下原因导致的：

检查您的Flink配置文件（如flink-conf.yaml），确保binlog的保存路径和文件名设置正确。例如：

execution.checkpointing.interval: 5000
execution.checkpointing.min-pause: 5000
state.backend: fs
state.backend.fs.checkpointdir: hdfs:///user/flink/checkpoints/

确保您的Flink集群中有足够的磁盘空间来存储checkpoint文件。您可以使用df -h命令查看磁盘空间使用情况。
检查您的Flink日志文件（如flink-*.log），看是否有关于找不到checkpoint的错误信息。这有助于进一步诊断问题。
如果问题仍然存在，您可以尝试在Flink配置文件中增加checkpoint的超时时间。例如：

execution.checkpointing.timeout: 600000

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/577347

问题三：Flink CDC中oracle 19c 报这个错 Caused by: 这个错是咋解决的？

Flink CDC中oracle 19c 报这个错 Caused by: java.sql.SQLException: ORA-44609: CONTINOUS_MINE 已经不支持用于 DBMS_LOGMNR.START_LOGMNR 这个错是咋解决的？

参考回答：

这个错误是由于Oracle 19c版本中，DBMS_LOGMNR.START_LOGMNR函数不再支持CONTINUOUS_MINE参数导致的。要解决这个问题，你可以尝试以下方法：

升级Oracle数据库到更高版本，例如Oracle 20c或更高版本，这些版本可能已经修复了这个问题。
如果无法升级Oracle数据库，你可以尝试使用其他方法来获取Oracle数据库的日志文件。例如，你可以使用Oracle提供的expdp工具导出数据泵导出的数据文件（DMP文件），然后使用LogMiner工具分析这些DMP文件。以下是使用expdp和LogMiner的示例命令：

# 使用expdp导出数据泵导出的数据文件（DMP文件）
expdp username/password@db_name dumpfile=datapump_export.dmp logfile=expdp_log.log
# 使用LogMiner分析DMP文件
logminer trace file=datapump_export.dmp