AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

请问flink想用yarn的话必须安装Hadoop吗?

请问flink想用yarn的话必须安装Hadoop吗?

展开
收起
十一0204 2023-04-10 21:08:29 477 发布于江西 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

2 条回答
写回答
取消 提交回答
  • 意中人jswy
    意中人就是我呀！

    hadoop三件套，hdfs，yarn，mapreduce, 阿里有实时计算，里面有动态调整资源，底层是k8s。 此答案整理自钉群“Flink CDC 社区”

    2023-04-12 08:48:49 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • HaydenGuo
    坚持这件事孤独又漫长。
    • 是的，如果想要在Flink中使用YARN作为集群管理工具，那么必须先安装和配置Hadoop集群，因为YARN是Hadoop的一个集群资源管理器，Flink需要通过YARN来向Hadoop请求资源来运行任务。
    • 所以，需要先安装Hadoop集群并正确地配置YARN资源管理器，然后才能在Flink中配置和使用YARN。
    2023-04-11 08:53:43 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 资源调度 Hadoop 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版Yarn Yarn安装 安装hadoop hadoop安装 hadoop yarn
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flinkcdc1.1.6 hadoop版本3.0.0 ，但是跑cdc作业时出现这个报错 怎么解决？
85
0
0
在Flink CDC中，Hadoop 运行在虚拟机环境报错 可能是什么原因呢？
39
0
0
在Flink想用DataStream的方式读取starrocks的数据 但是没有连接器要怎么处理？
77
1
0
安装了1.16.2版本的Flink,执行sql-client脚本，这是什么原因导致的啊？
94
0
0
在Flink CDC中 读取全量和增量数据能不能安装数据的生成顺序输出？
44
0
0
在Flink CDC中新安装部署的flink和flinkcdc就出现这个情况，如何解决？
54
0
0
在Flink CDC中我想用3.1的cdc，对应的io.debezium的包应该是哪个版本？
76
0
0
flink-cdc执行任务找不到ExecutionConfig类，是没有装hadoop导致的吗
243
1
0
Hadoop YARN 集群 ResourceManager 缺陷修复公告
61
1
0
在Flink CDC中flink安装的版本是1.18，flinkcdc版本是3.1,如何解决？
87
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问
收录在圈子:
阿里云实时计算Flink
199212
+ 订阅
实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。

相关文章

  • Kubernetes 1.28：StorageClass动态生成PV与SelfLink问题解决
  • Day.js极简轻易快速2kB的JavaScript库-替代Moment.js
  • 大数据+GIS：别光想着看地图，人家早就开始“算”地图了！
  • 5G+大数据：这不是“快上加快”，而是“聪明加聪明”
  • 从Excel到高级工具：数据分析进阶指南

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 如何用实时数据同步打破企业数据孤岛？
  • FlinkSQL 可以实现按天/周输出计算环比，同比数据吗？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 为啥flink的flink-config.yaml不用指定位置？
  • 各位老师，请教个问题，flink 会在本地 /tmp 目录下产生大量flink-临时文件，目前看好？
  • 请问大佬们，对flink进行压测，每条数据大小为160B，在1728核和960G内存的资源下，最大吞
  • 请问下有实现达梦数据库的 Flink CDC么?
  • 不同版本的 flink 如何适配不同版本 kafka，flink-connect-kafka 版本
  • 任务可以通过深度检查部署成功，但是启动会ddl超时默认的600s，Flink这个参数在哪里设置？
    • 展开全部
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
  • 开篇 | 揭秘 Flink 1.9 新架构，Blink Planner 你会用了吗？
  • 使用Blink CEP实现差值聚合计算
  • 如果你也想做实时数仓…
  • State Processor API：如何读取，写入和修改 Flink 应用程序的状态
  • Iceberg 在基于 Flink 的流式数据入库场景中的应用
  • Flink 与 Hive 的磨合期
  • Flink 1.10 细粒度资源管理解析
  • 周末直播|Flink、Hologres、AI等热门话题全都安排！
  • Flink 基础详解：大数据处理的强大引擎
    • 展开全部
    还有其他疑问?
    咨询AI助理