AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

使用flink做Checkpoint 访问oss那个请求api次数读写过高 使用jindo可以解决吗

使用flink做Checkpoint 访问oss那个请求api次数读写过高 使用jindo可以解决吗？

展开
收起
wenti 2023-01-09 20:05:01 764 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 离原

    可以,你可以在oss的官方文档的解决方案中找到"Flink使用JindoSDK可恢复性写入OSS-HDFS",里面有提到开源版本的flink和oss的不兼容性,可以配合JindoSDK解决

    2023-01-11 20:00:45
    赞同 展开评论
问答分类：
API 对象存储 流计算 开源大数据平台 E-MapReduce 实时计算 Flink版 对象存储
问答标签：
访问对象存储 API请求 对象存储访问 实时计算 Flink版checkpoint API访问
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flink 读取oss-hdfs数据问题
121
1
0
Flink默认先全量再增量同步，全量时会对checkpoint上锁，导致请求检查点时失败，任务重启
242
1
0
flink cdc 无法在插槽请求超时内分配所需的插槽
509
0
0
Flink在oss并没有生成文件是为什么？
128
1
0
函数计算FC填写API域名，项目还是不能正常运行，浏览器访问API域名提示这些，是什么意思？
141
0
0
在Flink CDC中，有遇到此报错吗？将检查点写入到oss，启动job报错。
70
0
0
换了一个库，重新创建同名表，改名字，都是这样，显示有这个表，Flink报错说数据请求失败，怎么处理？
63
0
0
在函数计算FC中，comfyui如何api访问，入参是什么？
242
1
0
使用阿里云cdn的监控api时，ng的代理需要怎么设置，通过ng反向代理访问的时候，链接被拒绝了。
109
0
0
阿里云语音AIRESTful API 若前端直接访问是否存在跨域问题？如何设置允许跨域？
80
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云E-MapReduce
2323
+ 订阅

相关文章

  • 淘宝/天猫：使用订单查询API实时追踪包裹状态，自动推送物流通知至用户
  • 如何解决数据孤岛难题？
  • 买房不是拍脑袋：大数据教你优化房地产投资策略
  • 低代码运维平台：是“运维福音”，还是“甩手掌柜”？
  • 小白必看：AI智能体零基础搭建全攻略！

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 在斗鱼，实时计算发展的历程如何？
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • Flink-CDC 文档网站地址是什么？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • 在Flink CDC中ogg可以做实时同步吗？
    • 展开全部
  • 实时计算 Flink SQL 核心功能解密
  • 通过Flink实时构建搜索引擎的索引
  • 使用 Kafka 和 Flink 构建实时数据处理系统
  • 实时计算在天猫双十一大屏中的应用
  • 【阿里内部应用】利用blink CEP实现流计算中的超时统计问题
  • 基于Flink和规则引擎的实时风控解决方案
  • 【阿里内部应用】利用blink+MQ实现流计算中的超时统计问题
  • 如何分析及处理 Flink 反压？
  • Apache Flink 进阶（八）：详解 Metrics 原理与实战
  • Flink入坑指南 第四章：SQL中的经典操作Group By+Agg
    • 展开全部
    还有其他疑问?
    咨询AI助理