开发者社区> 问答> 正文

E-mapreduce服务是否支持用Python语言开发的程序

1 针对Hadoop的Mapreduce程序,采用Hadoop Streaming方式(或者mrjob等基于Hadoop Streaming的第三方库),是否支持,如何创建作业,直接提交hadoop-streaming-2.6.0.jar和.py文件还是其他方式提交;
2 Spark使用PySpark编写的作业如何提交。
谢谢!

展开
收起
smallpotato000 2016-04-07 07:59:04 5014 0
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    这些都是支持的。
    1、Hadoop Streaming:hadoop jar /usr/lib/hadoop-current/share/hadoop/tools/lib/hadoop-streaming-*.jar
    参考:https://hadoop.apache.org/docs/r2.7.2/hadoop-streaming/HadoopStreaming.html
    这个也可以在页面配置
    2、PySpark可以通过spark-submit提交的,在页面也可以配置。

    2019-07-17 18:38:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载