开发者社区 问答 正文

E-MapReduce 如何创建作业?



CreateJob 创建作业



请求参数

字段类型是否必须默认值描述
NameString作业名称
TypeString作业类型,HADOOP,SPARK,HIVE,PIG
RunParameterString作业的参数
FailActString失败后的操作。STOP:停止,CONTINUE:继续后续的作业
RegionIdString


返回参数

字段类型描述
IdString作业Id


示例



请求示例

  1. https://emr.aliyuncs.com/?Action=CreateJob
  2. &Name=CreateJobApiTest-SPARK
  3. &Type=SPARK
  4. &EnvParam=--class%20org.apache.spark.examples.SparkPi%20--master%20yarn-client%20%E2%80%93num-executors%202%20--executor-memory%202g%20--executor-cores%202%20/opt/apps/spark-1.6.0-bin-hadoop2.6/lib/spark-examples*.jar%2010
  5. &FailAct=STOP
  6. &RegionId=cn-hangzhou
  7. &公共请求参数


返回格式


JSON 格式
  1. {
  2.     "RequestId": "34B08619-2636-49F9-AB4E-CD8D347B1E07",
  3.     "InstanceId": "J-13A570B821D4BAB3"
  4. }

展开
收起
nicenelly 2017-10-30 16:56:57 1824 分享 版权
阿里云 AI 助理回答

您提到的CreateJob操作是阿里云E-MapReduce(EMR)服务中的一个API调用,用于创建一个新的作业。E-MapReduce是一种大数据处理服务,它基于Apache Hadoop和Apache Spark等开源技术,为用户提供便捷的数据处理能力。下面是对您给出的请求参数和返回参数的详细解释:

请求参数

  1. Name (String, 必须): 作业的名称,这是用户自定义的一个标识符,用于区分不同的作业。

  2. Type (String, 必须): 作业的类型,决定了作业执行的框架或引擎。可选值包括HADOOP, SPARK, HIVE, PIG等,分别对应使用Hadoop MapReduce、Spark、Hive或Pig来执行作业。

  3. RunParameter (String, 必须): 作业运行时的具体参数。这些参数根据作业类型的不同而不同,例如对于Spark作业,可能包含main class、jar包路径等信息;对于Hive作业,则可能是HQL查询语句。

  4. FailAct (String, 必须): 当作业执行失败时采取的操作策略。可选值有STOPCONTINUE。选择STOP表示一旦当前作业失败,后续作业将不会被执行;选择CONTINUE则意味着即使当前作业失败,也会继续尝试执行后续作业。

  5. RegionId (String, 必须): 阿里云区域ID,指明作业将在哪个地域的EMR集群上执行。例如,cn-hangzhou代表中国杭州区域。

返回参数

  • Id (String): 创建成功后返回的作业ID,这是一个唯一标识符,可用于后续查询作业状态、日志等操作。

示例请求

您提供的示例是一个HTTP请求的格式,展示了如何通过阿里云API网关调用来创建作业:

https://emr.aliyuncs.com/?Action=CreateJob
&Name=mySparkJob
&Type=SPARK
&RunParameter={"mainClass":"com.example.MySparkApp","jarPath":"oss://my-bucket/my-jar.jar"}
&FailAct=STOP
&RegionId=cn-hangzhou
&<AccessKeyId>
&<SignatureMethod>
&<SignatureVersion>
&<Timestamp>
&<Signature>

请注意,实际发起请求时,还需要添加阿里云账号的AccessKey ID、Signature等安全认证信息,并按照阿里云API签名机制正确构造签名字符串,以确保请求的安全性和有效性。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答