开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks创建并使用EMR Shell节点创建EMR Shell节点并进行数据开发?

DataWorks创建并使用EMR Shell节点创建EMR Shell节点并进行数据开发?

展开
收起
cuicuicuic 2023-05-14 08:09:34 116 0
1 条回答
写回答
取消 提交回答
  • 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。创建业务流程。如果您已有业务流程,则可以忽略该步骤。鼠标悬停至image.png 图标,选择业务流程。在新建业务流程对话框,输入业务名称。单击新建创建EMR Shell节点。鼠标悬停至image.png 图标,选择EMR > EMR Shell。您也可以找到相应的业务流程,右键单击业务流程,选择新建 > EMR > EMR Shell。在新建节点对话框中,输入节点名称,并选择节点类型及目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交,进入EMR Shell节点编辑页面。使用EMR Shell节点进行数据开发。示例语句如下。DD=date;echo "hello world, $DD"##可以结合调度参数使用echo unknown;调度参数详情请参见基础属性:调度参数。如果您需要修改代码中的参数赋值,请单击界面上方工具栏的高级运行。参数赋值逻辑详情请参见运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别。image.png 更多配置内容,详情请参见Shell作业配置。编辑高级配置。"USE_GATEWAY":true ,表示任务会被提交到EMR gateway上执行,默认提交到header节点。"SPARK_CONF": "--conf spark.driver.memory=2g --conf xxx=xxx" ,设置spark 任务运行参数,多个参数在该key中追加。“queue”:提交作业的调度队列,默认为default队列。“vcores”: 虚拟核数,默认为1。“memory”:内存,默认为2048MB(用于设置启动器Laun https://help.aliyun.com/document_detail/214842.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-14 08:29:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载