Flink SQL 问题之看不到数据如何解决

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。

问题一:Flink如下报错怎么办? Flink-1.15.2 Standalone oracle-connector-2.3 8核 32G 16 Slots state.backend=rocksdb checkpointDir=file:///... savepointDir=file:///... Environment In Streaming Mode SQL 定义Source和Sink 同时采集16张静态表(无新增数据),全量阶段同步正常,资源充足;然而全量阶段结束后TaskManager内存占用比率依然不停增加,直到内存因此而爆满。 是我哪里设置不对吗?请教各位大佬


Flink如下报错怎么办? Flink-1.15.2 Standalone oracle-connector-2.3 8核 32G 16 Slots state.backend=rocksdb checkpointDir=file:///... savepointDir=file:///... Environment In Streaming Mode SQL 定义Source和Sink 同时采集16张静态表(无新增数据),全量阶段同步正常,资源充足;然而全量阶段结束后TaskManager内存占用比率依然不停增加,直到内存因此而爆满。 是我哪里设置不对吗?请教各位大佬


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/476311?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题二:flinksql 写mysql 然后mysql超过八小时超时导致任务报错了。请教大家一下flinksql 有相关的配置吗?


flinksql 写mysql 然后mysql超过八小时超时导致任务报错了。请教大家一下flinksql 有相关的配置吗?


参考回答:

mysql连接配置 autoReconnect=true


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/483325?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题三:flinksql写入starrocks,结果starrocks看不到数据,为什么?


flinksql写入starrocks,结果starrocks看不到数据,executesql也不报错 看不到报错信息,为什么?


参考回答:

如果开启了checkpoint,等checkpoint 完成一次呢


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/485030?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题四:我flinksql 连接oracle时间长 Closed Connection报错这个怎么设置?


请问大神我flinksql 连接oracle时间长 Closed Connection报错这个怎么设置


参考回答:

可以调整以下参数来解决这个问题:

  1. 在Oracle端,将SQLNET.EXPIRE_TIME参数值调整为较大的值,比如60分钟,以确保连接不会超时关闭。
  2. 在阿里云实时计算Flink端,可以设置以下参数:
    a. 设置连接池大小,增加连接的可用性,可以通过以下配置设置:
table.exec.connection-pool.size=10
  1. b. 调整连接空闲超时时间,以保证连接不会被关闭:
table.exec.connection-timeout=5min
  1. c. 启用TCP keepalive来检测连接是否已关闭:
table.exec.resource.tcp.keepalive=true
  1. d. 调整Oracle JDBC驱动程序连接参数以启用JDBC批处理,以减少网络延迟:
table.exec.source.driver-class-name=oracle.jdbc.driver.OracleDriver
table.exec.source.driver-properties.enableBatch=true

根据以上方法进行调整,应该可以解决连接关闭的问题。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/454470?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题五:flinksql使用内置函数 ,报no match found for function signature xxx ,这种要怎么排错呢?


flinksql使用内置函数 ,报no match found for function signature xxx ,这种要怎么排错呢?


参考回答:


官网上用了下划线分割代捷


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/481661?spm=a2c6h.14164896.0.0.352363bfzkoccH

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
450 43
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
144 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
2月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
5月前
|
存储 消息中间件 Kafka
基于 Flink 的中国电信星海时空数据多引擎实时改造
本文整理自中国电信集团大数据架构师李新虎老师在Flink Forward Asia 2024的分享,围绕星海时空智能系统展开,涵盖四个核心部分:时空数据现状、实时场景多引擎化、典型应用及未来展望。系统日处理8000亿条数据,具备亚米级定位能力,通过Flink多引擎架构解决数据膨胀与响应时效等问题,优化资源利用并提升计算效率。应用场景包括运动状态识别、个体行为分析和群智感知,未来将推进湖仓一体改造与三维时空服务体系建设,助力数字化转型与智慧城市建设。
606 3
基于 Flink 的中国电信星海时空数据多引擎实时改造
|
6月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
156 4
|
6月前
|
SQL Java 数据库连接
【YashanDB知识库】解决mybatis的mapper文件sql语句结尾加分号";"报错
【YashanDB知识库】解决mybatis的mapper文件sql语句结尾加分号";"报错
|
2月前
|
存储 消息中间件 搜索推荐
京东零售基于Flink的推荐系统智能数据体系
摘要:本文整理自京东零售技术专家张颖老师,在 Flink Forward Asia 2024 生产实践(二)专场中的分享,介绍了基于Flink构建的推荐系统数据,以及Flink智能体系带来的智能服务功能。内容分为以下六个部分: 推荐系统架构 索引 样本 特征 可解释 指标 Tips:关注「公众号」回复 FFA 2024 查看会后资料~
195 1
京东零售基于Flink的推荐系统智能数据体系
|
2月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
2月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
3月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:

相关产品

  • 实时计算 Flink版