开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks提交jar报的方式可以嘛?

DataWorks提交jar报的方式可以嘛?找到了oss api获取元数据的image.png

展开
收起
cuicuicuic 2024-02-25 06:53:54 22 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks支持提交jar包的方式进行数据处理和分析。以下是具体的步骤:

    1. 创建或上传资源:首先,您需要创建一个业务流程,因为DataWorks使用业务流程来存放创建的资源。然后,您可以根据业务需求创建相应的节点,这些节点将引用您创建的资源。
    2. 提交并发布资源:在创建了业务流程和相应节点之后,您可以将本地编写的jar包上传到DataWorks。如果文件大小超过30M,您可能需要使用特定的工具如odpscmd来上传资源。
    3. 使用资源:上传资源后,您可以在创建的计算类节点中引用并使用这些资源。如果jar包存储在HDFS中,您可以在EMR Spark节点中通过代码指定JAR包路径的方式来引用它。

    此外,DataWorks还支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。

    总之,通过以上步骤,您可以在DataWorks中提交jar包,并利用OSS API获取元数据进行分析和处理。

    2024-02-25 19:15:56
    赞同 展开评论 打赏
  • shell节点可以试下 jar包先上传为资源 shell节点调用资源 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-25 11:28:49
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多