开发者社区 问答 正文

E-MapReduce如何创建执行计划?


创建完作业后,若要让定义的作业到集群上运行,就需要创建一个执行计划。一个执行计划可以包含多个作业,用户也可自定义其先后顺序。例如,假设用户的一个场景是:产生数据-> 处理数据 ->清理数据,则用户可以分别定义三个名为“prepare-data”、“process-data”和“cleanup-data”的作业,然后创建一个执行计划来包含这三个作业。


  1. 创建执行计划的步骤如下:

  2. 登录阿里云 E-MapReduce 控制台执行计划页面。

  3. 选择地域(Region)。

  4. 单击右上角的创建执行计划,进入创建执行计划页面。

  5. 在选择集群方式页面上,有两个选项,分别是“按需创建”和“已有集群”。其中“按需创建”表示目前用户还没有集群,打算用一个临时集群运行该执行计划,并在运行完后将该临时集群自动释放。而“已有集群”表示用户目前已有集群在运行,该执行计划要提交到已有集群中运行。
    如果选择“按需创建”,则步骤跟创建集群一样进行,选择完这个按需集群的配置以后确定即可。

  6. 如果选择“已有集群”,则进入选择集群页面。用户可选择要将该执行计划关联到的集群,如下图所示:

单击 下一步,进入到配置作业页面。在该页面中,左边为先前已经定义好的作业列表,右边是该新创建的执行计划要运行的作业列表。将左边的作业按照执行顺序选择到右边,即可完成执行计划的定义。可以单击问号,查看作业的详细参数。完成后,单击 下一步。如下图所示:

设置执行计划名称。
选择调度策略,如下图所示。

  1. 周期调度,定义周期调度的频率与启动调度的时间。

  2. 手动执行,只有在用户手动单击的情况下才会执行。

单击 确认提交,完成执行计划的创建。

展开
收起
nicenelly 2017-10-30 13:39:22 1434 分享 版权
阿里云 AI 助理回答

您已经详细描述了在阿里云E-MapReduce(EMR)控制台上创建执行计划的步骤,这个过程涉及从定义作业到配置执行计划的各个方面。为了补充和强调一些关键点,我将简要概述整个流程并提供一些建议:

  1. 登录与访问:首先,确保您已登录阿里云官网,并导航至E-MapReduce控制台。选择您希望创建执行计划的地域。

  2. 创建执行计划

    • 点击“创建执行计划”按钮开始设置。
    • 选择集群方式:“按需创建”适用于临时需求,系统会在任务完成后自动释放资源;“已有集群”则用于复用现有的集群资源,适合长期稳定运行的任务。
  3. 配置集群(如果选择按需创建)

    • 按照提示配置所需的集群参数,如实例类型、数量等,然后确认。
  4. 选择集群(如果选择已有集群)

    • 从您的集群列表中选择一个合适的集群,该集群应满足执行计划的资源需求。
  5. 配置作业

    • 将左侧定义好的作业拖拽或选择到右侧,按照执行顺序排列。这一步骤是定义执行逻辑的核心,确保作业之间的依赖关系正确无误。
    • 可以查看每个作业的详细参数,以便进行微调。
  6. 设置执行计划详情

    • 给执行计划命名,便于管理和识别。
    • 选择调度策略:
      • 周期调度:设定执行计划的重复频率(如每天、每周特定时间)以及首次启动的时间。
      • 手动执行:不设置定时,仅在需要时手动触发。
  7. 确认提交

    • 审核所有设置无误后,点击“确认提交”,完成执行计划的创建。

额外建议: - 在选择“按需创建”集群时,考虑成本效益比,合理配置实例规格和数量,避免资源浪费。 - 对于“已有集群”,确保集群状态健康且资源充足,以免影响执行计划的顺利运行。 - 调度策略应根据业务需求灵活设置,对于数据处理敏感性高的任务,精确的调度时间可能至关重要。 - 创建后,定期检查执行计划的状态和日志,及时调整优化。 - 利用阿里云EMR的监控和报警功能,对执行计划的运行状况进行实时监控,确保任务的稳定性和效率。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答