AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 正文

阿里云E-MapReduce这个应该跟环境有关系吧？

阿里云E-MapReduce这个应该跟环境有关系吧？
image.png

展开
收起
真的很搞笑 2024-08-14 15:29:44 98 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    是的，notebook机器上设置了PYSPARK_PYTHON的环境变量，如果你自己创建spark session的话executor（也就是你的emr集群上）是没有这个python目录的所以会报错，这个教程有教如何初始化sparksession
    image.png
    ，此回答整理自钉群“EMR Workbench（原EMR Studio）用户交流群”

    2024-08-14 16:59:02
    赞同 4 展开评论
问答分类：
开源大数据平台 E-MapReduce
问答标签：
mapreduce环境
问答地址：
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 问答
相关问答
阿里云E-MapReduce 还需要搭建Hadoop环境吗？
119
1
0
E-MapReduce集群环境被破坏文件大量被删
74
1
0
阿里云E-MapReduce是不是你们的集群环境中缺少了相关的jar包，还是怎么的？
128
0
0
阿里云E-MapReduce缺少这个类，该怎么在环境中添加呢？
120
0
0
机器学习PAI这个Mapreduce需要在max compute环境里面运行，本地怎么运行啊?
104
1
0
阿里云E-MapReduce的环境，办公网络本地开发环境依赖jindo包写数据的时候报错，怎么处理？
267
1
0
E-MapReduce创建GATEWAY环境
254
1
0
MapReduce执行环境的服务器环境需要注意什么？
234
1
0
MapReduce执行环境的服务器环境是什么？
309
1
0
关于eclipse中运行mapreduce不是在hadoop集群环境运行而是在本地运行的问题
2172
1
0
大数据与机器学习

开源大数据平台 E-MapReduce

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

我要提问

相关文章

  • EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
  • 美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
  • StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
  • 百观科技基于阿里云 EMR 的数据湖实践分享

    • 热门讨论

    热门文章

  • Mem usage has exceed the limit of BE - com.mysql.j
  • 核桃编程是什么？
  • NeuSoft是什么？
  • 升级完，现有spark起不来了
  • hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？
  • 阿里云共享块存储和NAS还有OSS的区别是什么呀
  • 大佬，可以请教下，有没有遇到 com.aliyun.oss
  • 阿里云E-MapReduce中starrocks 2.4的mysql外部表哪个字段类型，映射不上吗？
  • E-MapReduce和MaxCompute的区别是什么？
  • 请教个问题，我想部署 1FE 节点 + 3BE节点的 StarRocks 集群， 在 EMR 控制台
    • 展开全部
  • 阿里封神谈hadoop生态学习之路
  • 现代流式计算的基石：Google DataFlow
  • JindoFS: 云上大数据的高性能数据湖存储方案
  • 漫谈分布式计算框架
  • JindoFS概述：云原生的大数据计算存储分离方案
  • 5W1H(六何分析法)全景洞察大数据
  • Apache Spark 3.0 将内置支持 GPU 调度
  • Flume NG 简介及配置实战
  • 开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • HBase写性能优化
    • 展开全部
    还有其他疑问?
    咨询AI助理