开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在dataworks的spark节点里面,怎么提交命令行参数?

在dataworks的spark节点里面,怎么提交命令行参数?

展开
收起
真的很搞笑 2023-04-19 07:57:47 214 0
2 条回答
写回答
取消 提交回答
  • 抱歉我没理解你是啥意思,现在是什么场景在用到这两个参数?这个spark任务是否已经在本地测试跑过了呢?,此回答整理自钉群“MaxCompute开发者社区1群”

    2023-04-19 11:55:25
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    在DataWorks的Spark节点中,可以通过在命令行参数中添加 -- 前缀,来传递参数。

    例如,在提交Spark作业的命令行参数中,添加 --input /path/to/input 参数表示输入路径。

    另外,也可以在DataWorks的Spark节点中,通过添加参数配置来设置命令行参数。具体步骤如下:

    在DataWorks中创建一个Spark节点,并打开节点编辑页面。

    在“参数配置”一栏中,点击“添加”按钮,添加一个新的参数配置。

    在参数配置中,选择“命令行参数”,并输入参数名称和参数值。例如,可以输入“input”作为参数名称,输入“/path/to/input”作为参数值。

    在Spark节点中引用这个参数配置,并在命令行参数中添加 --input ${input} 表示输入路径。其中 ${input} 表示引用参数配置中的参数值。

    提交Spark作业时,会自动引用参数配置中的参数值作为命令行参数。

    2023-04-19 10:33:30
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载