Flink SQL 问题之看不到数据如何解决

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: Flink SQL报错通常指在使用Apache Flink的SQL接口执行数据处理任务时遇到的问题;本合集将收集常见的Flink SQL报错情况及其解决方法,帮助用户迅速恢复数据处理流程。

问题一:Flink如下报错怎么办? Flink-1.15.2 Standalone oracle-connector-2.3 8核 32G 16 Slots state.backend=rocksdb checkpointDir=file:///... savepointDir=file:///... Environment In Streaming Mode SQL 定义Source和Sink 同时采集16张静态表(无新增数据),全量阶段同步正常,资源充足;然而全量阶段结束后TaskManager内存占用比率依然不停增加,直到内存因此而爆满。 是我哪里设置不对吗?请教各位大佬


Flink如下报错怎么办? Flink-1.15.2 Standalone oracle-connector-2.3 8核 32G 16 Slots state.backend=rocksdb checkpointDir=file:///... savepointDir=file:///... Environment In Streaming Mode SQL 定义Source和Sink 同时采集16张静态表(无新增数据),全量阶段同步正常,资源充足;然而全量阶段结束后TaskManager内存占用比率依然不停增加,直到内存因此而爆满。 是我哪里设置不对吗?请教各位大佬


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/476311?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题二:flinksql 写mysql 然后mysql超过八小时超时导致任务报错了。请教大家一下flinksql 有相关的配置吗?


flinksql 写mysql 然后mysql超过八小时超时导致任务报错了。请教大家一下flinksql 有相关的配置吗?


参考回答:

mysql连接配置 autoReconnect=true


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/483325?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题三:flinksql写入starrocks,结果starrocks看不到数据,为什么?


flinksql写入starrocks,结果starrocks看不到数据,executesql也不报错 看不到报错信息,为什么?


参考回答:

如果开启了checkpoint,等checkpoint 完成一次呢


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/485030?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题四:我flinksql 连接oracle时间长 Closed Connection报错这个怎么设置?


请问大神我flinksql 连接oracle时间长 Closed Connection报错这个怎么设置


参考回答:

可以调整以下参数来解决这个问题:

  1. 在Oracle端,将SQLNET.EXPIRE_TIME参数值调整为较大的值,比如60分钟,以确保连接不会超时关闭。
  2. 在阿里云实时计算Flink端,可以设置以下参数:
    a. 设置连接池大小,增加连接的可用性,可以通过以下配置设置:
table.exec.connection-pool.size=10
  1. b. 调整连接空闲超时时间,以保证连接不会被关闭:
table.exec.connection-timeout=5min
  1. c. 启用TCP keepalive来检测连接是否已关闭:
table.exec.resource.tcp.keepalive=true
  1. d. 调整Oracle JDBC驱动程序连接参数以启用JDBC批处理,以减少网络延迟:
table.exec.source.driver-class-name=oracle.jdbc.driver.OracleDriver
table.exec.source.driver-properties.enableBatch=true

根据以上方法进行调整,应该可以解决连接关闭的问题。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/454470?spm=a2c6h.14164896.0.0.33d863bf6fCfyS


问题五:flinksql使用内置函数 ,报no match found for function signature xxx ,这种要怎么排错呢?


flinksql使用内置函数 ,报no match found for function signature xxx ,这种要怎么排错呢?


参考回答:


官网上用了下划线分割代捷


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/481661?spm=a2c6h.14164896.0.0.352363bfzkoccH

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
791 43
|
4月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
286 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
4月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
1792 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
5月前
|
SQL 消息中间件 Kafka
Flink SQL 详解:流批一体处理的强大工具
Flink SQL 是 Apache Flink 提供的 SQL 引擎,支持流批一体处理,统一操作流数据与批数据,具备高性能、低延迟、丰富数据源支持及标准 SQL 兼容性,适用于实时与离线数据分析。
874 1
|
5月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
SQL JSON 数据库
influxdb 端点使用http进行sql查询,写数据
influxdb 端点使用http进行sql查询,写数据
837 0
|
SQL 移动开发 Oracle
SQL语句实现查询连续六天数据的方法与技巧
在数据库查询中,有时需要筛选出符合特定时间连续性条件的数据记录
|
SQL 数据挖掘 数据库
SQL查询每秒的数据:技巧、方法与性能优化
id="">SQL查询功能详解 SQL(Structured Query Language,结构化查询语言)是一种专门用于与数据库进行沟通和操作的语言
|
SQL
使用SQL进行集合查询和数据维护
使用SQL进行集合查询和数据维护
145 0
|
SQL 存储 分布式计算

相关产品

  • 实时计算 Flink版