开发者社区 问答 正文

E-MapReduce如何创建执行计划?


创建完作业后,若要让定义的作业到集群上运行,就需要创建一个执行计划。一个执行计划可以包含多个作业,用户也可自定义其先后顺序。例如,假设用户的一个场景是:产生数据 -> 处理数据 -> 清理数据,则用户可以分别定义三个名为“prepare-data”、“process-data”和“cleanup-data”的作业,然后创建一个执行计划来包含这三个作业。


  1. 创建执行计划的步骤如下:

  2. 登录阿里云 E-MapReduce 控制台执行计划页面。

  3. 选择地域(Region)。

  4. 单击右上角的[backcolor=transparent]创建执行计划,进入创建执行计划页面。

  5. 在选择集群方式页面上,有两个选项,分别是“按需创建”和“已有集群”。其中“按需创建”表示目前用户还没有集群,打算用一个临时集群运行该执行计划,并在运行完后将该临时集群自动释放。而“已有集群”表示用户目前已有集群在运行,该执行计划要提交到已有集群中运行。
    如果选择“按需创建”,则步骤跟创建集群一样进行,选择完这个按需集群的配置以后确定即可。

  6. 如果选择“已有集群”,则进入选择集群页面。用户可选择要将该执行计划关联到的集群,如下图所示:

单击[backcolor=transparent]下一步,进入到配置作业页面。在该页面中,左边为先前已经定义好的作业列表,右边是该新创建的执行计划要运行的作业列表。将左边的作业按照执行顺序选择到右边,即可完成执行计划的定义。可以单击问号,查看作业的详细参数。完成后,单击[backcolor=transparent]下一步。如下图所示:

设置执行计划名称。
选择调度策略,如下图所示。

  1. 周期调度,定义周期调度的频率与启动调度的时间。

  2. 手动执行,只有在用户手动单击的情况下才会执行。

单击[backcolor=transparent]确认提交,完成执行计划的创建。

展开
收起
nicenelly 2017-10-27 14:42:38 2411 分享 版权
阿里云 AI 助理回答

您已经详细描述了在阿里云E-MapReduce(EMR)控制台上创建执行计划的步骤,这个过程涉及从定义作业到配置执行顺序,再到选择集群和调度策略,非常全面。为了补充和强调一些关键点,我将简要概述整个流程并提供一些建议:

  1. 登录与访问:首先,确保您已登录阿里云官网,并导航至E-MapReduce控制台。

  2. 选择地域:根据您的资源分布和需求,选择合适的地域以创建或关联执行计划。

  3. 创建执行计划

    • 集群选择
      • 按需创建:适合一次性任务或测试场景,系统会自动创建并最终释放集群,减少成本和管理负担。
      • 已有集群:适用于长期运行的任务或复用现有资源,提高效率和利用率。
  4. 配置作业

    • 从左侧作业列表中,按照逻辑顺序将作业拖拽或选择到右侧,定义执行序列。
    • 查看每个作业的详细参数,确保配置正确无误,包括输入输出路径、依赖库等。
  5. 设置执行计划详情

    • 命名:为执行计划赋予一个清晰且具有描述性的名称,便于管理和识别。
    • 调度策略
      • 周期调度:设定执行频率(如每天、每周特定时间),适合定期数据处理任务。
      • 手动执行:适用于需要人工干预的任务,灵活性高,但需手动触发。
  6. 确认提交:检查所有配置无误后,单击“确认提交”完成创建。此时,根据所选的调度策略,执行计划将自动按照设定启动。

额外建议: - 监控与日志:创建执行计划后,利用EMR的监控功能跟踪作业状态和性能指标,及时发现并解决问题。 - 成本控制:对于按需集群,注意评估任务所需资源,合理配置以避免不必要的费用支出。 - 测试与调试:在正式运行前,对执行计划进行小规模测试,确保每个作业都能顺利执行。 - 版本管理:如果作业代码有更新,记得同步到对应的EMR集群,保持执行计划的最新状态。

通过遵循这些步骤和建议,您可以高效地在阿里云E-MapReduce上管理和执行复杂的数据处理工作流。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答