开发者社区> 云栖技术> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

阿里云E-MapReduce Spark SQL 作业配置

简介: .注意:Spark SQL提交作业的模式默认是yarn-client` 模式。 2.进入阿里云E-MapReduce控制台作业列表。 3.单击该页右上角的创建作业,进入创建作业页面。 4.填写作业名称。
+关注继续查看

.注意:Spark SQL 提交作业的模式默认是 yarn-client` 模式。

2.进入阿里云E-MapReduce控制台作业列表

3.单击该页右上角的创建作业,进入创建作业页面。

4.填写作业名称。

5.选择 Spark SQL 作业类型,表示创建的作业是一个 Spark SQL 作业。Spark SQL 作业在 E-MapReduce 后台使用以下的方式提交:

spark-sql [options] [cli option]
6.在“应用参数”选项框中填入 Spark SQL 命令后续的参数。

-e 选项

-e 选项可以直接写运行的 SQL,在作业应用参数框中直接输入,如下所示:

-e "show databases;"
-f 选项

-f 选项可以指定 Spark SQL 的脚本文件。通过将编写好的 Spark SQL 脚本文件放在 OSS 上,可以更灵活,建议您使用这种运行方式。如下所示:

-f ossref://your-bucket/your-spark-sql-script.sql
7.选择执行失败后策略。

8.单击确定,Spark SQL 作业即定义完成。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spark-SparkSQL深入学习系列九(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/     Spark SQL 可以将数据缓存到内存中,我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中,来极大的提高查询效率。
1081 0
Spark-SparkSQL深入学习系列八(转自OopsOutOfMemory)
 /** Spark SQL源码分析系列文章*/  在SQL的世界里,除了官方提供的常用的处理函数之外,一般都会提供可扩展的对外自定义函数接口,这已经成为一种事实的标准。
1260 0
Spark-SparkSQL深入学习系列一(转自OopsOutOfMemory)
 /** Spark SQL源码分析系列文章*/     自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst,到至今1年多了,Spark SQL的贡献者从几人到了几十人,而且发展速度异常迅猛,究其原因,个人认为有以下2点:     1、整合:将SQL类型的查询语言整合到 Spark 的核心RDD概念里。
1333 0
Spark-SparkSQL深入学习系列五(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/   前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer 以及核心类库TreeNode,本文将详细讲解Spark SQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式,并加上自己的实践,对Optimizer有一个直观的认识。
1012 0
Spark-SparkSQL深入学习系列十(转自OopsOutOfMemory)
    /** Spark SQL源码分析系列文章*/     前面讲到了Spark SQL In-Memory Columnar Storage的存储结构是基于列存储的。
942 0
Spark-SparkSQL深入学习系列三(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/     前面几篇文章讲解了Spark SQL的核心执行流程和Spark SQL的Catalyst框架的Sql Parser是怎样接受用户输入sql,经过解析生成Unresolved Logical Plan的。
983 0
Spark-SparkSQL深入学习系列二(转自OopsOutOfMemory)
   /** Spark SQL源码分析系列文章*/     Spark SQL的核心执行流程我们已经分析完毕,可以参见Spark SQL核心执行流程,下面我们来分析执行流程中各个核心组件的工作职责。
1091 0
Spark-SparkSQL深入学习系列四(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/     前几篇文章介绍了Spark SQL的Catalyst的核心运行流程、SqlParser,和Analyzer,本来打算直接写Optimizer的,但是发现忘记介绍TreeNode这个Catalyst的核心概念,介绍这个可以更好的理解Optimizer是如何对Analyzed Logical Plan进行优化的生成Optimized Logical Plan,本文就将TreeNode基本架构进行解释。
1133 0
Spark-SparkSQL深入学习系列七(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/   接上一篇文章Spark SQL Catalyst源码分析之Physical Plan,本文将介绍Physical Plan的toRDD的具体实现细节:   我们都知道一段sql,真正的执行是当你调用它的collect()方法才会执行Spark Job,最后计算得到RDD。
955 0
Spark-SparkSQL深入学习系列六(转自OopsOutOfMemory)
  /** Spark SQL源码分析系列文章*/   前面几篇文章主要介绍的是Spark sql包里的的spark sql执行流程,以及Catalyst包内的SqlParser,Analyzer和Optimizer,最后要介绍一下Catalyst里最后的一个Plan了,即Physical Plan。
1151 0
+关注
云栖技术
社区爱好者,专为云栖社区服务!
34
文章
897
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载