AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

请问flink想用yarn的话必须安装Hadoop吗?

请问flink想用yarn的话必须安装Hadoop吗?

展开
收起
十一0204 2023-04-10 21:08:29 499 发布于江西 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 意中人jswy
    意中人就是我呀！

    hadoop三件套，hdfs，yarn，mapreduce, 阿里有实时计算，里面有动态调整资源，底层是k8s。 此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:48:49 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • HaydenGuo
    坚持这件事孤独又漫长。
    • 是的，如果想要在Flink中使用YARN作为集群管理工具，那么必须先安装和配置Hadoop集群，因为YARN是Hadoop的一个集群资源管理器，Flink需要通过YARN来向Hadoop请求资源来运行任务。
    • 所以，需要先安装Hadoop集群并正确地配置YARN资源管理器，然后才能在Flink中配置和使用YARN。
    2023-04-11 08:53:43 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 资源调度 Hadoop 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版Yarn Yarn安装 安装hadoop hadoop安装 hadoop yarn
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flinkcdc1.1.6 hadoop版本3.0.0 ，但是跑cdc作业时出现这个报错 怎么解决？
91
0
0
在Flink CDC中，Hadoop 运行在虚拟机环境报错 可能是什么原因呢？
43
0
0
在Flink想用DataStream的方式读取starrocks的数据 但是没有连接器要怎么处理？
80
1
0
安装了1.16.2版本的Flink,执行sql-client脚本，这是什么原因导致的啊？
104
0
0
在Flink CDC中 读取全量和增量数据能不能安装数据的生成顺序输出？
49
0
0
在Flink CDC中新安装部署的flink和flinkcdc就出现这个情况，如何解决？
57
0
0
在Flink CDC中我想用3.1的cdc，对应的io.debezium的包应该是哪个版本？
81
0
0
flink-cdc执行任务找不到ExecutionConfig类，是没有装hadoop导致的吗
248
1
0
Hadoop YARN 集群 ResourceManager 缺陷修复公告
66
1
0
在Flink CDC中flink安装的版本是1.18，flinkcdc版本是3.1,如何解决？
90
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • Flink CDC 3.4 发布, 优化高频 DDL 处理，支持 Batch 模式，新增 Iceberg 支持
  • 【赵渝强老师】Scala编程语言
  • 从 o11y 2.0 说起，大数据 Pipeline 的「多快好省」之道
  • 算力资源选择指南：如何匹配你的开发需求？
  • CTF实战秘籍：跨平台文件合并与数据重构技术

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • 如何用实时数据同步打破企业数据孤岛？
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • PyFlink有什么优势吗？
  • Slot request bulk is not fulfillable，20以上job同时部署失败
  • flink web dashboard未授权访问漏洞，怎么处理呢？
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
  • flinkcdc连接oracle-19c提示不支持logmnr大家有遇到的吗，报ORA-44609？
    • 展开全部
  • 实时计算 Flink SQL 核心功能解密
  • 史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
  • 基于Flink的实时日志分析系统实践
  • Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch
  • Apache Flink 零基础入门（三）：DataStream API 编程
  • 如何分析及处理 Flink 反压？
  • Apache Flink 零基础入门（一）：基础概念解析
  • Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行
  • 阿里重磅开源全球首个批流一体机器学习平台Alink，Blink功能已全部贡献至Flink
  • 小红书如何实现高效推荐？解密背后的大数据计算平台架构
    • 展开全部
    还有其他疑问?
    咨询AI助理