创建 ODPS SQL 节点时,需要提供以下背景信息:
节点名称:用于标识 ODPS SQL 节点的名称,可以根据需要进行自定义。
所属文件夹:用于将 ODPS SQL 节点归类到指定的文件夹中,方便管理和查找。
数据库:用于指定 ODPS SQL 节点需要操作的数据库。可以选择已经存在的数据库,或者创建新的数据库。
SQL 语句:用于编写 ODPS SQL 节点需要执行的 SQL 语句。
执行计划:用于指定 ODPS SQL 节点的执行计划,包括并行度、资源配置、数据导出和导入等。
运行环境:用于指定 ODPS SQL 节点的运行环境,包括 MaxCompute 的版本、Java 版本等。
在DataWorks中创建ODPS SQL节点时,需要提供一些背景信息。以下是创建ODPS SQL节点时需要的背景信息:
节点名称:为节点指定一个唯一的名称,用于在DataWorks中标识该节点。
节点描述(可选):可为节点添加描述,用于说明节点的作用或特点。
运行环境:选择要在哪个环境中运行该节点,例如开发环境、生产环境等。
数据源:选择节点使用的数据源,可以是已经创建的ODPS数据源或者其他类型的数据源。
SQL脚本:在节点中编写ODPS SQL脚本,用于定义要执行的任务逻辑。您可以使用ODPS SQL语法进行数据分析、转换、计算等操作。
输入和输出表:根据实际需求,指定节点的输入和输出表。输入表可用于读取数据,输出表用于将处理后的结果保存到目标表中。
参数配置(可选):根据需要,可以设置节点的参数配置,例如并行度、优先级、资源消耗限制等。
调度配置(可选):如果需要定时调度节点的执行,可以配置调度信息,包括调度类型、调度时间等。
因为每个作业从前期准备到提交等阶段都需要花费较长时间,因此如果要求处理几千至数万笔事务的业务,您可以使用ODPS SQL顺利完成。ODPS SQL是主要面向吞吐量的OLAP应用,详情请参见与标准SQL的主要区别及解决方法。ODPS SQL节点的使用限制如下:ODPS SQL不支持单独使用set、use和alias语句,必须和具体的SQL语句一起执行,示例如下。 set a=b;create table name(id string);ODPS SQL不支持关键字(set、use和alias)语句后单独加注释,示例如下。 create table name(id string);set a=b; //注释,不支持该注释。create table name1(id string);数据开发与调度运行的区别如下:数据开发:合并当前任务代码内所有的关键字(set、use和alias)语句,作为所有SQL的前置语句。调度运行:按照顺序执行。set a=b;create table name1(id string);set c=d;create table name2(id string);运行结果如下表所示。执行SQL 数据开发 调度运行
第一条SQL语句 set a=b; set a=b;
第二条SQL语句 set a=b; set c=d;调度参数配置必须是key=value的格式,且(=)前后不支持空格,示例如下。 time={yyyymmdd hh:mm:ss} //错误a =b //错误如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请使用其它变量名称,避免冲突,示例如下。 bizdate=201908 //错误,不支持。数据开发需要查询结果,仅支持select、read和with起始的SQL语句,否则无结果输出。执行多条SQL语句时,请用分号(;)分隔,且需要换行。错误示例 create table1;create table2
正确示例 create table1;create table2;MaxCompute 2.0扩展函数使用到新数据类型时,您需要在该函数的SQL语句前加set odps.sql.type.system.odps2=true;,并与SQL一起提交运行,以便正常使用新数据类型。SQL
https://help.aliyun.com/document_detail/201514.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。