开发者社区 问答 正文

E-MapReduce 如何创建作业?



CreateJob 创建作业



请求参数

字段类型是否必须默认值描述
NameString作业名称
TypeString作业类型,HADOOP,SPARK,HIVE,PIG
RunParameterString作业的参数
FailActString失败后的操作。STOP:停止,CONTINUE:继续后续的作业
RegionIdString


返回参数

字段类型描述
IdString作业Id


示例



请求示例

  1. [backcolor=transparent]https[backcolor=transparent]:[backcolor=transparent]//emr.aliyuncs.com/?Action=CreateJob
  2. [backcolor=transparent]&[backcolor=transparent]Name[backcolor=transparent]=[backcolor=transparent]CreateJobApiTest[backcolor=transparent]-[backcolor=transparent]SPARK
  3. [backcolor=transparent]&[backcolor=transparent]Type[backcolor=transparent]=[backcolor=transparent]SPARK
  4. [backcolor=transparent]&[backcolor=transparent]EnvParam[backcolor=transparent]=--[backcolor=transparent]class[backcolor=transparent]%[backcolor=transparent]20org[backcolor=transparent].[backcolor=transparent]apache[backcolor=transparent].[backcolor=transparent]spark[backcolor=transparent].[backcolor=transparent]examples[backcolor=transparent].[backcolor=transparent]SparkPi[backcolor=transparent]%[backcolor=transparent]20[backcolor=transparent]--[backcolor=transparent]master[backcolor=transparent]%[backcolor=transparent]20yarn[backcolor=transparent]-[backcolor=transparent]client[backcolor=transparent]%[backcolor=transparent]20[backcolor=transparent]%[backcolor=transparent]E2[backcolor=transparent]%[backcolor=transparent]80[backcolor=transparent]%[backcolor=transparent]93num[backcolor=transparent]-[backcolor=transparent]executors[backcolor=transparent]%[backcolor=transparent]202[backcolor=transparent]%[backcolor=transparent]20[backcolor=transparent]--[backcolor=transparent]executor[backcolor=transparent]-[backcolor=transparent]memory[backcolor=transparent]%[backcolor=transparent]202g[backcolor=transparent]%[backcolor=transparent]20[backcolor=transparent]--[backcolor=transparent]executor[backcolor=transparent]-[backcolor=transparent]cores[backcolor=transparent]%[backcolor=transparent]202[backcolor=transparent]%[backcolor=transparent]20[backcolor=transparent]/[backcolor=transparent]opt[backcolor=transparent]/[backcolor=transparent]apps[backcolor=transparent]/[backcolor=transparent]spark[backcolor=transparent]-[backcolor=transparent]1.6[backcolor=transparent].[backcolor=transparent]0[backcolor=transparent]-[backcolor=transparent]bin[backcolor=transparent]-[backcolor=transparent]hadoop2[backcolor=transparent].[backcolor=transparent]6[backcolor=transparent]/[backcolor=transparent]lib[backcolor=transparent]/[backcolor=transparent]spark[backcolor=transparent]-[backcolor=transparent]examples[backcolor=transparent]*.[backcolor=transparent]jar[backcolor=transparent]%[backcolor=transparent]2010
  5. [backcolor=transparent]&[backcolor=transparent]FailAct[backcolor=transparent]=[backcolor=transparent]STOP
  6. [backcolor=transparent]&[backcolor=transparent]RegionId[backcolor=transparent]=[backcolor=transparent]cn[backcolor=transparent]-[backcolor=transparent]hangzhou
  7. [backcolor=transparent]&公共请求参数


返回格式


JSON 格式
  1. [backcolor=transparent]{
  2. [backcolor=transparent]    [backcolor=transparent]"RequestId"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"34B08619-2636-49F9-AB4E-CD8D347B1E07"[backcolor=transparent],
  3. [backcolor=transparent]    [backcolor=transparent]"InstanceId"[backcolor=transparent]:[backcolor=transparent] [backcolor=transparent]"J-13A570B821D4BAB3"
  4. [backcolor=transparent]}

展开
收起
nicenelly 2017-10-27 16:32:00 2184 分享 版权
阿里云 AI 助理回答

您提到的CreateJob操作是阿里云Elastic MapReduce (EMR) 服务中的一个API调用,用于创建一个特定类型的工作作业(如Hadoop、Spark、Hive或Pig等)在EMR集群上执行。下面是对您给出的信息的一个详细解析和补充说明:

请求参数详解

  1. Name (String, 必须):

    • 描述:作业的名称,用户自定义,用于标识和区分不同的作业。
  2. Type (String, 必须):

    • 描述:指定作业的类型。可选值包括 HADOOP, SPARK, HIVE, PIG 等,根据实际需求选择。
  3. RunParameter (String, 必须):

    • 描述:作业运行时的具体参数,格式依据作业类型而定。例如,对于Spark作业,这可能包含主类、JAR包路径等信息;对于Hive作业,则可能是HQL查询语句。
  4. FailAct (String, 必须):

    • 描述:作业失败后的处理策略。可选值为 STOPCONTINUE。如果设置为 STOP,则作业失败后停止后续作业;如果设置为 CONTINUE,则即使当前作业失败,也会继续执行队列中的下一个作业。
  5. RegionId (String, 必须):

    • 描述:阿里云区域ID,表示该作业将在哪个地域的EMR集群上执行。例如,cn-hangzhou 表示杭州区域。

返回参数

  • Id (String):
    • 描述:成功创建作业后返回的作业ID,可用于后续查询作业状态、日志等操作。

示例请求构造

基于上述参数,一个创建Spark作业的示例请求URL(已替换敏感信息和格式化以增强可读性)可能如下所示:

https://emr.aliyuncs.com/?Action=CreateJob
&Name=MySparkJobExample
&Type=SPARK
&RunParameter={"mainClass":"com.example.MySparkApp","jarPath":"oss://my-bucket/jars/myapp.jar"}
&FailAct=CONTINUE
&RegionId=cn-hangzhou
&<AccessKeyId>
&<SignatureMethod>
&<SignatureVersion>
&<Timestamp>
&<Signature>

请注意,实际请求中还需要包含阿里云的认证信息,比如AccessKeyId、签名方法(SignatureMethod)、签名版本(SignatureVersion)、时间戳(Timestamp)以及计算出的签名(Signature),这些通常通过HTTP头或者查询参数的方式传递,确保请求的安全性和有效性。具体如何构造这些认证参数,可以参考阿里云官方文档中的指导。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答