开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks执行sql数据开发与调度运行的限制有哪些?

DataWorks执行sql数据开发与调度运行的限制有哪些?

展开
收起
真的很搞笑 2023-08-27 14:20:33 46 0
1 条回答
写回答
取消 提交回答
  • 因为每个作业从前期准备到提交等阶段都需要花费较长时间,因此如果要求处理几千至数万笔事务的业务,您可以使用ODPS SQL顺利完成。ODPS SQL是主要面向吞吐量的OLAP应用,详情请参见与标准SQL的主要区别及解决方法。ODPS SQL节点的使用限制如下:ODPS SQL不支持单独使用set、use和alias语句,必须和具体的SQL语句一起执行,示例如下。 set a=b;create table name(id string);ODPS SQL不支持关键字(set、use和alias)语句后单独加注释,示例如下。 create table name(id string);set a=b; //注释,不支持该注释。create table name1(id string);数据开发与调度运行的区别如下:数据开发:合并当前任务代码内所有的关键字(set、use和alias)语句,作为所有SQL的前置语句。调度运行:按照顺序执行。set a=b;create table name1(id string);set c=d;create table name2(id string);运行结果如下表所示。执行SQL 数据开发 调度运行
    第一条SQL语句 set a=b; set a=b;
    第二条SQL语句 set a=b; set c=d;调度参数配置必须是key=value的格式,且(=)前后不支持空格,示例如下。 time={yyyymmdd hh:mm:ss} //错误a =b //错误如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请使用其它变量名称,避免冲突,示例如下。 bizdate=201908 //错误,不支持。数据开发需要查询结果,仅支持select、read和with起始的SQL语句,否则无结果输出。执行多条SQL语句时,请用分号(;)分隔,且需要换行。错误示例 create table1;create table2
    正确示例 create table1;create table2;MaxCompute 2.0扩展函数使用到新数据类型时,您需要在该函数的SQL语句前加set odps.sql.type.system.odps2=true;,并与SQL一起提交运行,以便正常使用新数据类型。SQL
    https://help.aliyun.com/document_detail/201514.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 15:32:04
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载