开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

创建ODPS MR节点操作步骤是什么?

创建ODPS MR节点操作步骤是什么?

展开
收起
十一0204 2023-04-11 23:00:26 260 0
4 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    创建ODPS MR节点的操作步骤如下:

    登录ODPS控制台,选择“项目列表”进入项目管理页面。

    在项目管理页面中,选择需要创建MR节点的项目,进入该项目的管理页面。

    在项目管理页面中,选择“计算引擎”选项卡,进入计算引擎管理页面。

    在计算引擎管理页面中,选择“MR节点”选项卡,进入MR节点管理页面。

    在MR节点管理页面中,单击“创建MR节点”按钮,弹出创建MR节点对话框。

    在创建MR节点对话框中,填写节点的名称、描述、节点类型、节点规格等信息,并选择节点所在的资源组和VPC网络等配置。

    完成节点配置后,单击“确定”按钮创建MR节点。

    创建成功后,可以在MR节点管理页面中查看新创建的MR节点的状态和配置信息。

    注意:创建MR节点需要先开通ODPS计算引擎服务,同时需要具有相应的权限。如果您没有相关权限,请联系ODPS管理员进行授权。

    2023-04-15 15:40:09
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在阿里云DataWorks中,创建ODPS MR(MapReduce)节点的操作步骤如下:

    • 登录DataWorks控制台,选择对应的项目空间(Workspace)。

    • 在左侧导航栏中选择“运维中心”(Operation Center)。

    • 在运维中心页面中,选择“调度协调”(Scheduler Coordination)。

    • 点击左上角的“新建”(New)按钮,选择“ODPS MR”节点。

    • 在创建ODPS MR节点的配置页面中,填写相应的配置信息,包括节点名称、节点描述、任务类型、作业文件、输入输出等。

    • 在“作业文件”配置项中,可以选择上传自己的MR作业文件,也可以从公共资源库中选择已有的作业文件。

    • 在“输入输出”配置项中,可以配置作业的输入数据和输出数据,包括数据表、分区、格式等。

    • 配置完成后,点击右上角的“保存”(Save)按钮。

    • 在弹出的确认对话框中,点击“确定”(OK)按钮,确认创建ODPS MR节点。

    • 创建成功后,可以在运维中心的节点列表中看到新创建的ODPS MR节点,并可以对节点进行编辑、调度和监控等操作。

    2023-04-12 23:51:12
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。创建JAR资源。鼠标悬停至图标,单击MaxCompute > 资源 > JAR。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > JAR。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。如果该JAR包已经在MaxCompute(ODPS)客户端上传过,则需要取消勾选上传为ODPS资源,否则上传会报错。资源名称无需与上传的文件名保持一致。资源名称命名规范:1~128个字符,字母、数字、下划线、小数点,大小写不敏感,JAR资源的后缀为.jar,Python资源的后缀为.py。单击点击上传,在本地选择相应文件后,单击打开。本文以mapreduce_example.jar为例。在新建资源对话框中,单击确定。单击工具栏中的图标,保存并提交资源至调度开发服务器端。创建ODPS MR节点。鼠标悬停至图标,单击MaxCompute > ODPS MR。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > ODPS MR。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线()和小数点(.),且不能超过128个字符。单击提交。在节点的编辑页面输入代码,示例如下。--创建输入表。CREATE TABLE if not exists jingyan https://help.aliyun.com/document_detail/139134.html此答案整理自钉群“DataWorks交流群(答疑@机器人)”"

    2023-04-12 09:23:33
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    创建ODPS MR节点的操作步骤如下:

    1. 登录阿里云DataWorks控制台,进入相应项目空间。

    2. 在工作流设计页面,单击左侧面板的“数据开发”按钮,选择“ODPS MR”,然后单击“新建节点”。

    3. 在“新建ODPS MR节点”页面,填写节点名称、描述等基本信息。

    4. 在“MR配置”选项卡中,配置MR任务需要的各项参数,如输入输出配置、Mapper和Reducer配置等。

    5. 在“Jar包配置”选项卡中,配置执行MR任务需要的Jar包和参数。

    6. 在“运行设置”选项卡中,设置MR任务的运行参数,如最大失败次数、最大运行时长等。

    7. 单击“确定”按钮完成节点的创建,然后保存工作流程。

    8. 在工作流设计页面,将ODPS MR节点拖放到相应位置,连接它与其他节点,完成整个工作流程的设计。

    2023-04-11 23:54:42
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载