实时计算 Flink版产品使用合集之是否可以用jdk17版本使FlinkCDC

简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,?


Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,yarn的,有什么排查方向吗,资源什么的都是充足的?本来是1.13版本然后部署了一个1.17flink在17上提交任务一直accepted状态没变成running,资源什么的我看也是很多的


参考回答:

这个状态是不兼容的哈,无状态启动吧


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571765


问题二:Flink CDC有什么实时数仓开发规范之类的文档推荐一下?


Flink CDC有什么实时数仓开发规范之类的文档推荐一下?


参考回答:

Apache Flink是一个开源流处理框架,它的CDC(Change Data Capture)组件可以实现从关系型数据库中实时捕获数据变更,并将这些变化的数据实时传输到其他数据系统,例如Kafka、Elasticsearch、HBase等。没有专门针对Flink CDC实时数仓开发规范的官方文档,但有一些博客文章和社区讨论可以参考,其中涉及到了一些实用的技巧和最佳实践。以下是一些相关的资源:



关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571764


问题三:有没有用jdk17版本,使用flinkcdc的?


有没有用jdk17版本,使用flinkcdc的?


参考回答:

flink-cdc依赖于flink ,目前flink 1.18才支持jdk17,但是flink-cdc还没兼容到flink 1.18


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571763


问题四:Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?


Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?


参考回答:

Flink SQL Client默认是在本地环境中运行的,并不会直接提交到YARN上。如果你想将任务提交到YARN上运行,你需要显式指定参数--execution-mode yarn-cluster或者--execution-mode yarn-session来启动Flink SQL Client。你还可以在启动的时候设置额外的参数,例如--parallelism用于控制任务的并行度,--yarn-application-name用于设置YARN应用的名字等等。具体的参数说明可以参考Flink的官方文档。将任务提交到YARN上运行需要事先安装好Hadoop和YARN,并且配置好相应的环境变量和参数。


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571762


问题五:Flink CDC如何使用per job提交sql作业?


Flink CDC如何使用per job提交sql作业?

现在都是起一个yarn-session


参考回答:

但是session模式一直是不推荐的,yarn 现在官网推荐的不是Application Modehttps://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/resource-providers/yarn/%E5%90%B4%E6%B8%85%E8%93%9D


关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571761

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
11月前
|
Java
IDEA修改JDK版本
在IDEA中修改项目JDK版本的方法如下:1. 右键点击项目;2. 选择“Open Module Settings”,如图所示;3. 在弹出窗口中配置自定义的JDK路径。通过以上步骤,可轻松更改项目所使用的JDK版本,满足不同开发环境的需求。
3537 65
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
624 21
|
8月前
|
Ubuntu Java Android开发
在Ubuntu 18.04上安装与JDK 8兼容的Eclipse版本的步骤。
安装过程结束后,您就可以开始使用Eclipse来开发您的Java项目了,并且确保它与JDK 8兼容无误。这个过程涉及的是一个基本的安装流程,针对使用Java 8的用户,Eclipse的其他配置和插件安装根据个人开发环境和需求来定制。
515 0
|
Java API 开发工具
Android cmdline-tools版本与最小JDK的关系
总的来说,Android的命令行工具和JDK之间的关系就像是一场舞会,两者需要彼此配合,才能共同创造出美妙的舞蹈。如果选择了不合适的舞伴(即不兼容的版本),可能会导致舞蹈中的步伐混乱,甚至无法完成舞蹈。而即使选择了合适的舞伴,也需要考虑舞伴的舞蹈技巧(即性能和稳定性),才能确保舞蹈的完美表现。因此,选择合适的Android命令行工具和JDK版本,是每一个Android开发者都需要面对的重要决定。
404 13
|
缓存 Java Maven
java: 警告: 源发行版 11 需要目标发行版 11 无效的目标发行版: 11 jdk版本不符,项目jdk版本为其他版本
如何解决Java项目中因JDK版本不匹配导致的编译错误,包括修改`pom.xml`文件、调整项目结构、设置Maven和JDK版本,以及清理缓存和重启IDEA。
861 3
java: 警告: 源发行版 11 需要目标发行版 11 无效的目标发行版: 11 jdk版本不符,项目jdk版本为其他版本
|
Java 开发工具
开发工具系列 之 同一个电脑上安装多个版本的JDK
这篇文章介绍了如何在一台电脑上安装和配置多个版本的JDK,包括从官网下载所需JDK、安装过程、配置环境变量以及如何查看和切换当前使用的JDK版本,并提到了如果IDEA和JDK版本不兼容时的解决方法。
开发工具系列 之 同一个电脑上安装多个版本的JDK
|
Java 关系型数据库 MySQL
【编程基础知识】Eclipse连接MySQL 8.0时的JDK版本和驱动问题全解析
本文详细解析了在使用Eclipse连接MySQL 8.0时常见的JDK版本不兼容、驱动类错误和时区设置问题,并提供了清晰的解决方案。通过正确配置JDK版本、选择合适的驱动类和设置时区,确保Java应用能够顺利连接MySQL 8.0。
1205 1
|
Java 关系型数据库 开发工具
idea创建不了spring2.X版本,无法使用JDK8,最低支持JDK17 , 如何用idea创建spring2.X版本,使用JDK8解决方案
本文提供了解决方案,如何在IDEA中创建Spring 2.X版本的项目并使用JDK8,尽管Spring 2.X已停止维护且IDEA不再直接支持,通过修改pom.xml或使用阿里云的国内源来创建项目。
2598 0
idea创建不了spring2.X版本,无法使用JDK8,最低支持JDK17 , 如何用idea创建spring2.X版本,使用JDK8解决方案
|
Java API
JDK8到JDK25版本升级的新特性问题之使用Collectors.teeing()来计算一个列表中学生的平均分和总分如何操作
JDK8到JDK25版本升级的新特性问题之使用Collectors.teeing()来计算一个列表中学生的平均分和总分如何操作
|
Oracle Java 关系型数据库
JDK8到JDK29版本升级的新特性问题之未来JDK的升级是否会成为必然趋势,如何理解
JDK8到JDK29版本升级的新特性问题之未来JDK的升级是否会成为必然趋势,如何理解

相关产品

  • 实时计算 Flink版