开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中创建ODPS Spark节点创建ODPS Spark节点?

DataWorks中创建ODPS Spark节点创建ODPS Spark节点?

展开
收起
cuicuicuic 2023-06-28 19:10:49 71 0
1 条回答
写回答
取消 提交回答
  • 在DataStudio(数据开发)页面,鼠标悬停至image.png 图标,单击MaxCompute > ODPS Spark。您也可以打开相应的业务流程,右键单击MaxCompute,选择新建 > ODPS Spark。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。在ODPS Spark编辑页面,配置各项参数。ODPS Spark的详情请参见概述。ODPS Spark节点支持两种spark版本和语言。选择不同的语言,会显示相应不同的配置,您可以根据界面提示进行配置:选择语言为Java/Scala,配置如下。image.png 参数 描述 spark版本 包括Spark1.x和Spark2.x两个版本。 语言 此处选择Java/Scala。 选择主jar资源 从下拉列表中选择您已上传的JAR资源。 配置项 单击添加一条,即可配置key和value。 Main Class 选择类名称。 参数 添加参数,多个参数之间用空格分隔。支持使用调度参数,调度参数使用方式请参考文档调度参数。 选择jar资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的JAR资源。 选择file资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的File资源。 选择archives资源 ODPS Spark节点根据上传的文件类型自动过滤,选择下拉框中显示的您已上传的Archives资源,仅展示压缩类型的资源。选择语言为Python,配置如下。image.png 参数 描述 spark版本 包括Spark1.x和Spark2.x两个版本。 语言 此处选择Python。 选 https://help.aliyun.com/document_detail/201516.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-28 19:26:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载