在阿里云DataWorks中,创建Shell节点需要按照以下步骤进行:
登录DataWorks控制台,进入目标项目。
在左侧的“研发管理”栏目中选择“任务开发”。
在总览界面右上角点击“新建任务”,选择“MaxCompute”任务类型。
在弹出的面板中选择“ODPS Shell”节点类型,然后命名该节点。
在节点配置页面编辑Shell脚本内容。此处可以编写需要执行的Shell脚本代码,也可以上传一个已存在的Shell脚本文件。
可以在节点参数设置中设置需要传递给Shell脚本的参数。如果节点类型为“ODPS Shell”的计算节点,则参数可以在脚本中使用$1、$2、$3等来引用。
配置完成后,提交并运行节点。如果需要调试Shell脚本或查看节点运行结果,可以通过节点运行日志或结果表进行查看和调试,也可以使用节点运行日志的在线调试功能。
步骤说明:
首先需要一个具有root权限的服务器或虚拟机,可以使用ssh或类似的远程连接工具进行访问。
安装Shell节点软件:为了使用Shell节点,需要先安装相应的软件。可以使用apt-get或yum等包管理器对其进行安装,也可以手动从官方网站下载进行安装。
配置Shell节点:需要对Shell节点进行必要的配置,例如指定端口,开启服务等。
配置防火墙:如果服务器上已经启用防火墙,需要在防火墙中打开Shell节点使用的端口。
启动Shell节点:启动Shell节点服务,并测试其可用性。
配置访问控制:在Shell节点服务中,可以设置授权访问列表,只有允许列表中的主机地址才能访问该Shell节点。可以根据实际情况进行配置。
需要注意的是,在进行Shell节点安装并启用后,如不加以控制访问列表,可能存在潜在的安全风险,因此采取必要的安全措施很重要。
"进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至图标,单击通用 > Shell。您也可以打开相应的业务流程,右键单击通用,选择新建 > Shell。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。编辑Shell节点。编辑Shell节点代码。如果您需要在Shell中调用系统调度参数,Shell语句如下所示。echo ""$1 $2 $3""说明参数1 参数2…多个参数之间用空格分隔。更多系统调度参数的使用,请参见基础属性:调度参数。单击工具栏中的图标,将其保存至服务器。单击工具栏中的图标,执行编辑的Shell语句。如果您需要修改在数据开发页面测试时使用的任务执行资源,请单击工具栏中的图标,选择相应的独享调度资源组。单击节点编辑区域右侧的调度配置,配置节点的调度属性。详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。单击工具栏中的图标,保存节点。单击工具栏中的https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/7190659951/p9839 https://help.aliyun.com/document_detail/137535.html此答案整理自钉群“DataWorks交流群(答疑@机器人)”"
你好。 创建通用Shell节点步骤:
进入数据开发页面。 登录DataWorks控制台。 在左侧导航栏,单击工作空间列表。 选择工作空间所在地域后,单击相应工作空间后的数据开发。 鼠标悬停至新建图标,单击通用 > Shell。 您也可以打开相应的业务流程,右键单击通用,选择新建 > Shell。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。