DataWorks如何创建ODPS Spark节点创建JAR资源?
在 DataWorks 中,要创建 ODPS Spark 节点并添加 JAR 资源,可以按照以下步骤进行操作:
登录到 DataWorks 控制台,进入相应的项目空间。
在项目空间中,点击左侧导航栏中的 "工作空间",然后选择 "业务流程"。
在业务流程页面,点击 "新建任务" 按钮,并选择 "ODPS Spark" 作为任务类型。
在任务编辑页面,将鼠标移至节点画布上方的 "资源" 区域,并点击 "JAR" 按钮。
在弹出的对话框中,填写 JAR 资源的名称、描述和存储位置等信息。确保提供的存储位置是有效的,并且可以在 Spark 任务中访问到该 JAR 资源。
点击 "确定" 完成 JAR 资源的添加。
返回任务编辑页面,在节点画布上拖动一个 ODPS Spark 节点,并与之前添加的 JAR 资源连接起来。
配置 ODPS Spark 节点的其他参数,如脚本内容、输入/输出表、运行参数等。
点击 "保存" 按钮保存任务配置。
通过以上步骤,你创建了一个 ODPS Spark 节点,并且添加了 JAR 资源。这样,当任务执行时,Spark 会自动加载并使用该 JAR 资源。
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至
图标,单击MaxCompute > 资源 > JAR。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > JAR。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。如果该JAR包已经在MaxCompute(ODPS)客户端上传过,则需要取消勾选上传为ODPS资源,否则上传会报错。资源名称无需与上传的文件名保持一致。资源名称命名规范:1~128个字符,字母、数字、下划线、小数点,大小写不敏感,JAR资源的后缀为.jar,Python资源的后缀为.py。单击点击上传,选择相应的文件进行上传。WordCount的示例代码请参见WordCount。单击新建。单击工具栏中的
图标,上传文件。在提交新版本对话框中,输入变更描述,单击确认。
https://help.aliyun.com/document_detail/137513.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。