AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

flink可以直接用flink-conf.yaml，但是试了下cdc这么做没用，那应该怎么处理呢？

flink可以直接用flink-conf.yaml，里面配置S3作为checkpoint。但是试了下cdc这么做没用，那应该怎么处理呢？ 我一个java程序集成cdc，直接本地跑的测试

展开
收起
wenti 2023-02-27 11:30:54 199 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 凌云Cloud
    发表文章、提出问题、分享经验、结交志同道合的朋友

    应该是缺少配置，需要在启动CDC时指定S3的access key和secret key以及S3的bucket name和prefix。在Java程序中，需要在CDC连接器的构造函数中指定相应的checkpoint存储配置

    2023-02-27 11:51:49
    赞同 展开评论
问答分类：
Java 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版CDC flink YAML 实时计算 Flink版Yaml 实时计算 Flink版flink-conf.yaml 实时计算 Flink版cdc怎么处理
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink CDC里按照文档搞了这个yaml东东，报了这个错是为什么？
163
2
0
flink cdc采用yaml自动生成的sr表，字段COMMENT是不会一块搞过来么？
87
0
0
flink-cdc.sh 中的 【--global-config】参数也是提供一个yaml吗？
77
0
0
对于Flink CDC，看起来像是yaml文件里哪块没写对，但是没显示具体是那行？
115
1
0
对于Flink CDC，mysql到Doris库的mysql-to-doris.yaml用这个属性嘛
119
1
0
在Flink CDC中怎么通过yarn-session方式提交yaml的cdc任务？
456
1
0
在Flink CDC中指定驱动也没用，如何解决？
49
1
0
请教一下各位，我在Flink项目中配置的log4j.properties文件是不是没用？
98
1
0
Flink CDC里mysql到doris 同步 用yaml配置文件很方便 以后会增加更多数据吗？
140
1
0
flink-cdc-3.0.0 配置的yaml任务，我想提交到yarn集群上执行，怎么自启动？
171
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • 常见面试题09
  • Java基础学习day06
  • Java基础学习day05-作业
  • org.springframework.web.multipart.MultipartException: Current request is not a multipart request
  • Gradle被误解了？揭开构建工具背后的真相-骂gradle是有多无知-优雅草卓伊凡

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • 在Flink CDC中ogg可以做实时同步吗？
  • Flink-CDC 文档网站地址是什么？
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • 在斗鱼，实时计算发展的历程如何？
  • flink tidbcdc 报这个错为啥?
  • Flink解析json到表，有没有强大的插件？
    • 展开全部
  • 如何正确使用 Flink Connector？
  • 深入了解 Flink 网络栈（二）：监控、指标和处理背压
  • 运维场景下的实时计算应用
  • 基于Flink和规则引擎的实时风控解决方案
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
  • Apache Flink 漫谈系列(10) - JOIN LATERAL
  • 首次加入云栖大会的Flink专场，究竟都讲了啥？
  • 菜鸟双11在「仓储配送数据实时化」的台前幕后
  • Ververica Platform-阿里巴巴全新Flink企业版揭秘
  • blink测试技术介绍
    • 展开全部
    还有其他疑问?
    咨询AI助理