关于公共云dataworks执行setproject命令问题小记

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 最近看到官网提供开发者版的Maxcompute的测试,赶紧开了一个试玩;https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html?spm=5176.

最近看到官网提供开发者版的Maxcompute的测试,赶紧开了一个试玩;
https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html?spm=5176.7944453.751670.btn16.21d652dfN2zpU3
7

但在如下测试中报错:
公共云dataworks 2.0版本测试setproject命令,保存提交的时候报提交任务和血缘关系不一致的情况;
1
这里我们不细纠这个问题,关于血缘关系以及调度依赖的内容参考如下链接:
https://help.aliyun.com/document_detail/89726.html?spm=a2c4g.11186623.6.652.67585d02t52UXJ
https://help.aliyun.com/document_detail/94780.html?spm=a2c4g.11186623.6.902.751172e7Yb5tWk
然后继续提交任务成功,并运行任务报错,任务提交失败的报错;
2
查看调度依赖如下,是使用的虚拟的root上游节点;
3
看起来没有任何的不妥的地方,可惜,任务运行一直抛错;
无奈,只能尝试添加一个select 1;语句测试是否是数据开发功能问题,还是语句的问题;
果然运行成功了,setproject的输出也打印了出来;
4
5
所以只能归结于数据开发界面对于Maxcompute的set类命令支持不友好;
所以赶紧找到了odpscmd的win版客户端装了上去验证一下是否正常;
https://help.aliyun.com/document_detail/27804.html?spm=a2c4g.11186623.2.13.59f7a95en2tecR
然后验证setproject命令正常;
6
而其中关于endpoint的地址参考官档连接:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11174283.6.585.1510590eW6VmBa
而logview地址参考logview输出的链接地址:
8
ak和sk是创建Maxcompute的project项目的时候创建出来的;
然后在bin目录下运行./odpscmd进入查询即可;
问题解决!!!

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
4月前
|
DataWorks 安全
DataWorks私有云第三方包可以通过pip命令下载吗?
DataWorks私有云第三方包可以通过pip命令下载吗?
39 0
|
2月前
|
DataWorks 关系型数据库 大数据
dataworks问题之执行TELNET命令失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
23 2
|
消息中间件 弹性计算 分布式计算
DataWorks使用Shell节点调用自定义资源组执行脚本
本文主要介绍DataWorks使用Shell节点调度自定义资源组执行Shell脚本,且使用该功能需要用户的DataWorks版本为企业版。文中主要内容包括配置自定义资源组,以及设置ECS的amdin用户权限,脚本模式使用MaxCompute客户端,并配置手动业务流程执行对应的Shell脚本在开发环境运行,检测其脚本执行的命令是否正确。该功能对于用户调度用户ECS上的的程序提供了便利,使其他的任务能和DataWorks的调度结合起来。
2879 0
DataWorks使用Shell节点调用自定义资源组执行脚本
|
DataWorks 关系型数据库 调度
DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?
VPC网络下adb pg实例引擎绑定dataworks工作空间任务执行执行指导
1392 0
DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?
|
运维 DataWorks 调度
DataWorks百问百答08:如何进行任务调度执行、周期实例运行状况分析?
DataWorks百问百答08:如何进行任务调度执行、周期实例运行状况分析?
4533 0
|
分布式计算 安全 MaxCompute
ODPS 权限管理命令集合
ODPS 权限管理命令集合
10614 0
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之dataworks连接FTP服务器失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之dataworks自定义函数运行时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL DataWorks 关系型数据库
DataWorks常见问题之dataworks同步Rds任务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
分布式计算 DataWorks 调度
DataWorks常见问题之dataworks运行报错 system internal error 如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。