AI 助理
备案控制台
开发者社区 大数据与机器学习 正文

我看现在阿里云E-MapReduce集群，默认已经不安装HDFS了。这样出来也是默认的到OSS-？

我看现在阿里云E-MapReduce集群，默认已经不安装HDFS了。这样出来也是默认的到OSS-HDFS。d4bc4a6c28a19d4db9979debd6c965f2.png
YARN上任务执行的中间结果，是不是也去OSS-HDFS了。
那选EMR节点的时候，
是不是Core节点和Master节点其实没有区别了？
还需要数据盘吗？
目前选通用型节点默认4块盘，最少2块。

展开
收起
真的很搞笑 2023-08-01 11:21:31 89 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    是的。以后 EMR 就不强依赖 HDFS 了。，此回答整理自钉群“JindoData 用户交流群”

    2023-08-01 11:28:12
    赞同 展开评论
问答分类：
资源调度 对象存储 开源大数据平台 E-MapReduce
问答标签：
集群对象存储 阿里云对象存储 开源大数据平台 E-MapReduce集群 mapreduce集群 集群文件存储HDFS版
问答地址：
开发者社区 > 大数据与机器学习 > 问答
相关问答
如何通过hdfs命令操作oss并获取rquest id？
69
1
0
我如何将一个oss 挂载到emr集群。 以便通过hive sql 查询oss 里的日志数据？
86
0
0
Checkpoint Replicate Service 是如何实现跨 HDFS 集群的副本制作的？
52
1
0
为什么直接在 Flink 引擎中双写到两个 HDFS 集群不是一个好的选择？
67
1
0
集群治理平台如何对HDFS进行画像？
53
1
0
Havenask配置了oss的变量原本hdfs的配置项呢是否需要处理呢？
60
1
0
Havenask多机模式下必须使用hdfs，不能使用oss的原因是什么呢？
55
1
0
OSS无法绑定K8S集群存储卷提示没权限
65
1
0
OSS是否有提供文件的在线处理能力？
1099
3
0
dataphin外部表读取OSS的CSV文件，执行完，书记是空的，没有读到csv文件。
914
0
0

大数据与机器学习

大数据领域前沿技术分享与交流，这里不止有技术干货、学习心得、企业实践、社区活动，还有未来。

我要提问

相关文章

  • 《SET结构演化训练：通用大模型的非监督生成路径》
  • 技术排期协作工具选型攻略：2025年敏捷开发团队如何做出最佳选择？
  • 一文讲清智能排产系统搭建全攻略
  • 一文讲清计划管理的底层逻辑
  • 我与ODPS

    • 热门讨论

    热门文章

  • Flink CDC3.0什么时候支持sink到mysql呀？
  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 数据来源：com.alibaba.fastjson.JSONException: syntax er
  • Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
  • 在api调用夸克搜索时，遇到权限不足问题
  • Dataphin和 Dataworks 有啥区别呢？
  • 虚拟机占用内存特别大，90多个G,网上各种方法都试过了，怎么解决这个问题
  • 在使用datasets.load_data的时候，加载数据集报错。
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • 数据服务报429请求次数过多咋办呀
    • 展开全部
  • 【玩转数据系列九】机器学习为您解密雾霾形成原因
  • 数据库开放权限太危险，又不想写API。DataV给你另外一个选择。
  • 拍立淘-以图搜图中的图像搜索算法
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
  • [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute
  • 现代流式计算的基石：Google DataFlow
  • 搜索双链路实时计算体系@双11实战
  • 梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 倒计时1天！相约杭州云栖，相遇数据智能
    • 展开全部
    还有其他疑问?
    咨询AI助理