问题一:Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,?
Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,yarn的,有什么排查方向吗,资源什么的都是充足的?本来是1.13版本然后部署了一个1.17flink在17上提交任务一直accepted状态没变成running,资源什么的我看也是很多的
参考回答:
这个状态是不兼容的哈,无状态启动吧
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571765
问题二:Flink CDC有什么实时数仓开发规范之类的文档推荐一下?
Flink CDC有什么实时数仓开发规范之类的文档推荐一下?
参考回答:
Apache Flink是一个开源流处理框架,它的CDC(Change Data Capture)组件可以实现从关系型数据库中实时捕获数据变更,并将这些变化的数据实时传输到其他数据系统,例如Kafka、Elasticsearch、HBase等。没有专门针对Flink CDC实时数仓开发规范的官方文档,但有一些博客文章和社区讨论可以参考,其中涉及到了一些实用的技巧和最佳实践。以下是一些相关的资源:
- 博客:《Flink CDC实现Oracle数据实时更新到Kudu》https://www.jianshu.com/p/9f11d2b6c50a
- 社区讨论:https://github.com/apache/flink/issues?q=is%3Aissue+closing+is%3Aclosed+cdc
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571764
问题三:有没有用jdk17版本,使用flinkcdc的?
有没有用jdk17版本,使用flinkcdc的?
参考回答:
flink-cdc依赖于flink ,目前flink 1.18才支持jdk17,但是flink-cdc还没兼容到flink 1.18
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571763
问题四:Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?
Flink CDC怎样我启动sql client默认就是提交到yarn上了吗?
参考回答:
Flink SQL Client默认是在本地环境中运行的,并不会直接提交到YARN上。如果你想将任务提交到YARN上运行,你需要显式指定参数--execution-mode yarn-cluster
或者--execution-mode yarn-session
来启动Flink SQL Client。你还可以在启动的时候设置额外的参数,例如--parallelism
用于控制任务的并行度,--yarn-application-name
用于设置YARN应用的名字等等。具体的参数说明可以参考Flink的官方文档。将任务提交到YARN上运行需要事先安装好Hadoop和YARN,并且配置好相应的环境变量和参数。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571762
问题五:Flink CDC如何使用per job提交sql作业?
Flink CDC如何使用per job提交sql作业?
现在都是起一个yarn-session
参考回答:
但是session模式一直是不推荐的,yarn 现在官网推荐的不是Application Modehttps://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/resource-providers/yarn/%E5%90%B4%E6%B8%85%E8%93%9D
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571761