实时计算 Flink版操作报错之遇到Caused by: java.sql.SQLException: ORA-44609: CONTINOUS_MINE,该怎么处理

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

问题一:Flink CDC对服务器硬件要求有吗? 运行半小时 就报错了?


Flink CDC对服务器硬件要求有吗? 运行半小时 就报错了?


参考回答:

Flink CDC对服务器硬件的要求主要取决于以下几个因素:

  • 总数据量和增量数据量:这两个指标决定了处理任务所需的内存大小和磁盘空间大小。一般地,内存应足够大以便能够存储整个数据流,而磁盘空间则应该足以容纳一段时间内的所有增量数据。
  • Job数量:在使用Flink CDC处理多个Job时,需要考虑每个Job的任务运行时间和并发度。如果任务运行时间较长或者并发度较高,则可能需要更大的内存和处理器资源来支持。
  • 执行效率:根据任务的实际执行效率来调整硬件配置。例如,在一些场景下可以适当降低处理器频率来节省电力消耗;而在另一些场景下则需要提高处理器频率来提高处理速度。

在考虑这些因素的同时,购买服务器时还需要考虑预算和其他限制。此外,Flink CDC与flink项目是独立的,集成时需要注意版本匹配。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577349



问题二:Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。能否帮忙看一下呀?


Flink CDC调整了binlog保存时间后运行任务。又出现了报错。如下图。查看日志似乎是找不到checkpoint了。能否帮忙看一下呀?。下面是提交的运行语句,报错图和日志:./bin/flink run-application --target kubernetes-application -Dkubernetes.cluster-id=cluster231205aa -Dkubernetes.rest-service.exposed.type=NodePort -Dkubernetes.namespace=flink -Dkubernetes.jobmanager.service-account=flink-service-account -Dkubernetes.container.image.ref=swr.cn-north-4.myhuaweicloud.com/commons/toll_pro_02:1.17.1 -Dkubernetes.container.image.pull-secrets=regcred3 -Dtaskmanager.memory.process.size=7000m -Dtaskmanager.numberOfTaskSlots=1 --pyModule ls_card_blacklist_id_32 --pyFiles /opt/python_codes/ls_card_blacklist_id_32.py


参考回答:

从您提供的信息来看,Flink CDC在调整binlog保存时间后运行任务时出现了报错。报错信息显示找不到checkpoint。这可能是由于以下原因导致的:

  1. 检查您的Flink配置文件(如flink-conf.yaml),确保binlog的保存路径和文件名设置正确。例如:
execution.checkpointing.interval: 5000
execution.checkpointing.min-pause: 5000
state.backend: fs
state.backend.fs.checkpointdir: hdfs:///user/flink/checkpoints/
  1. 确保您的Flink集群中有足够的磁盘空间来存储checkpoint文件。您可以使用df -h命令查看磁盘空间使用情况。
  2. 检查您的Flink日志文件(如flink-*.log),看是否有关于找不到checkpoint的错误信息。这有助于进一步诊断问题。
  3. 如果问题仍然存在,您可以尝试在Flink配置文件中增加checkpoint的超时时间。例如:
execution.checkpointing.timeout: 600000


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577347



问题三:Flink CDC中oracle 19c 报这个错 Caused by: 这个错是咋解决的?


Flink CDC中oracle 19c 报这个错 Caused by: java.sql.SQLException: ORA-44609: CONTINOUS_MINE 已经不支持用于 DBMS_LOGMNR.START_LOGMNR 这个错是咋解决的?


参考回答:

这个错误是由于Oracle 19c版本中,DBMS_LOGMNR.START_LOGMNR函数不再支持CONTINUOUS_MINE参数导致的。要解决这个问题,你可以尝试以下方法:

  1. 升级Oracle数据库到更高版本,例如Oracle 20c或更高版本,这些版本可能已经修复了这个问题。
  2. 如果无法升级Oracle数据库,你可以尝试使用其他方法来获取Oracle数据库的日志文件。例如,你可以使用Oracle提供的expdp工具导出数据泵导出的数据文件(DMP文件),然后使用LogMiner工具分析这些DMP文件。以下是使用expdp和LogMiner的示例命令:
# 使用expdp导出数据泵导出的数据文件(DMP文件)
expdp username/password@db_name dumpfile=datapump_export.dmp logfile=expdp_log.log
# 使用LogMiner分析DMP文件
logminer trace file=datapump_export.dmp


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577345



问题四:Flink CDC遇到过这个错嘛?


Flink CDC遇到过这个错嘛?


参考回答:

向yarn注册失败,超时了,排查看下yarn


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577335



问题五:Flink CDC还是一样的报错?


Flink CDC还是一样的报错?

5.7.26


参考回答:

你这个报错是不支持这个ssl,得排查看啊


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/577331

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
运维 Cloud Native Java
postman发起post请求遇到报错:java.io.FileNotFoundException (文件名、目录名或卷标语法不正确。)
遇到bug报错,多猜可能的原因,控制变量反复测试,直至找到问题的关键,然后再思考如何解决或者回避。 博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来
|
5月前
|
Java Maven
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
在Java项目中,启动jar包时遇到“no main manifest attribute”错误,且打包大小明显偏小。常见原因包括:1) Maven配置中跳过主程序打包;2) 缺少Manifest文件或Main-Class属性。解决方案如下:
1630 8
java项目中jar启动执行日志报错:no main manifest attribute, in /www/wwwroot/snow-server/z-server.jar-jar打包的大小明显小于正常大小如何解决
|
4月前
|
Java Windows
【Azure Function】部署Java Function失败:报错deploy [ERROR] Status code 401和警告 'China North 3' may not be a valid region
1:deploy [ERROR] Status code 401, (empty body). 2: China North 3 may not be a valid region,please refer to https://aka.ms/maven_function_configuration#supported-regions for values. 3:  <azure.functions.maven.plugin.version>1.36.0</azure.functions.maven.plugin.version>
72 11
|
6月前
|
JSON Java 关系型数据库
Java更新数据库报错:Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'.
在Java中,使用mybatis-plus更新实体类对象到mysql,其中一个字段对应数据库中json数据类型,更新时报错:Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'.
702 4
Java更新数据库报错:Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'.
|
6月前
|
分布式计算 Java MaxCompute
ODPS MR节点跑graph连通分量计算代码报错java heap space如何解决
任务启动命令:jar -resources odps-graph-connect-family-2.0-SNAPSHOT.jar -classpath ./odps-graph-connect-family-2.0-SNAPSHOT.jar ConnectFamily 若是设置参数该如何设置
|
8月前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
10月前
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
282 13
|
10月前
|
SQL
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
173 9
|
10月前
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
121 6
|
10月前
|
存储 SQL C++
对比 SQL Server中的VARCHAR(max) 与VARCHAR(n) 数据类型
【7月更文挑战7天】SQL Server 中的 VARCHAR(max) vs VARCHAR(n): - VARCHAR(n) 存储最多 n 个字符(1-8000),适合短文本。 - VARCHAR(max) 可存储约 21 亿个字符,适合大量文本。 - VARCHAR(n) 在处理小数据时性能更好,空间固定。 - VARCHAR(max) 对于大文本更合适,但可能影响性能。 - 选择取决于数据长度预期和业务需求。
775 1

相关产品

  • 实时计算 Flink版