备案控制台
开发者社区> 问答> 正文

背景：配置Flink的高可用，想将checkpoint存放在hdfs上面，rpc 过长的错误。

测试机需要配置Flink的HA,需要将checkpoint存放在hdfs上，发现Flink集群无法启动，出现了rpc 过长的错误，但是发现Flink在未启动成功jobmanage和taskmanage后，将checkpoint存放在了HDFS上，我并没有hadoop的权限，测试集群也没有hadoop相关的配置 image.png

image.png

请问有什么建议？

展开
收起
游客3mg5nvb3rewiu 2021-12-24 10:09:33 653 0
0 条回答
写回答
取消 提交回答
问答分类：
分布式计算 Hadoop 流计算 实时计算 Flink版
问答标签：
文件存储HDFS版配置 配置文件存储HDFS版 实时计算 Flink版checkpoint 实时计算 Flink版配置 实时计算 Flink版HDFS
问答地址：
开发者社区 > 大数据 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
Flink CDC这个文件可以配置存放地址么？
57
1
0
Flink CDC里版本1.18，taskmanager.rpc.port这个端品怎么设置多个值呢？
19
0
0
Flink CDC里如何设置taskmanager.rpc.port设口的范围？
73
1
0
怎么指定 flink yarn-session 启动 这properties 的文件存放位置？
59
2
0
Flink从这个配置来看，是不是可以理解为，jdbc_fixed模式 就是rpc 模式升级版？
59
4
0
问下Flink CDC 中大佬配置方面的事情， 如果配置rokcsdb的存放路径，和fs的存储路？
47
0
0
群里有大佬用过阿里的oss么 flink 1.13.6 想把之前的hdfs存放savepoint？
115
0
0
把hudi表的数据存放到hdfs，为什么用flink sql 语句查询hudi 表数据，提示拒绝？
139
1
0
Spring Cloud Alibaba中连的线上的nacos 配置，rpc端口为什么还连的本地？
259
0
0
各位大佬，请教个问题，使用flink cdc读取数据时，如果配置一个表，数据过滤是发生在server
1738
3
0
问答排行榜
最热
最新
1 通过阿里云代备案系统进行个人快速备案 2699900
2 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家 德哥 1818315
3 据说在家办公的程序员是这样写代码的？ 1792348
4 阿里云开放端口权限 689929
5 如何升级配置 536074
6 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？ 522463
7 【精品问答】python技术1000问(1) 514002
8 Flink Forward Asia 2021 有奖问答 512808
9 Linux Bash严重漏洞修复紧急通知（已全部给出最终修复方案） 456923
10 OceanBase 使用动画（持续更新） 359269
11 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 329725
12 OSS存储服务-客户端工具 321341
13 为体验实验室取一个新名字。 307323
14 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 303861
15 Win Server 2003-2016 加密勒索事件必打补丁合集 295165
16 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 283662
17 安全组详解，新手必看教程 277262
18 写code还是做管理，开发者如何进行职业规划？ 268478
19 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 255830
20 阿里云手机和阿云浏览器连接问题专帖 235632
1 一键生成你眼中的未来城市，分享部署过程、输出结果及使用体验 231
2 展示你用AI工具生成动漫头像，并分享配置过程及使用体验 204
3 国内AI大模型高考数学成绩超GPT-4o，如何看待这一结果？ 554
4 如何避免“写代码5分钟，调试2小时”的尴尬？ 564
5 通义灵码生成Git Commit的时候，偶尔生成中文，偶尔生成英文，根本无法控制生成的语言。 139
6 一键部署3D卡通风格模型，分享部署过程及使用体验 546
7 展示你通过AI修饰的自然风光照片，并讲述你的拍摄和编辑过程 954
8 机器学习PAI现在一直在重试，怎样停掉？ 227
9 请问机器学习PAI eas服务拉取dockerhub失败怎么办？ 181
10 请教下机器学习PAI的代码配置没有链接测试吗？ 116
11 平头哥芯片W800:芯片如何购买？ 153
12 阿里云Grafana升级10后 已有的 飞书webhook 报警机器人不再工作。 请问如何排查？ 153
13 请问通义灵码IDEA生成Git Commit Message 如何默认生成中文注释 108
14 Nacos登录密码忘记了如何修改？ 385
15 你知道APP是怎么开发的吗？ 1639
16 如何提高企业的业务稳定性？ 649
17 钉钉宜搭，A提交一个表单，如何设置该表单只能给B看？ 161
18 百问求答 | 回答问题即有机会得米家落地扇 347
19 集成&自动化：3层触发时，新增和删除触发正常，但编辑时不正常 120
20 jetbrain IDE 无法正常安装 TONGYI Lingma plugin 141

相关课程

更多
  • Apache Flink 入门到实战 - Flink开源社区出品
    1567
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3962
    10
    去学习
  • 开源 Flink 极速上手教程
    1836
    7
    去学习
  • Hadoop 分布式文件系统 HDFS
    1092
    43
    去学习
  • 大数据实时计算框架Spark快速入门
    956
    93
    去学习
  • Apache Flink 入门
    5055
    9
    去学习
    • 推荐问答
    乘风问答官招募中！机械键盘免费拿

    相关文章

  • 优化大数据处理：Java与Hadoop生态系统集成
  • 数据处理的艺术：EMR Serverless Spark实践及应用体验
  • 大数据的概念
  • 前端 JS 经典：打印对象的 bug
  • 探索数据科学中的模型优化技术

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    海量数据分布式存储——Apache HDFS之最新进展 立即下载

    相关实验场景

    更多
  • 使用Flink实时发现最热Github项目
    903
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    254
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    42
    1.0小时
    去实验