开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks创建ODPS SQL节点背景信息?

DataWorks创建ODPS SQL节点背景信息?

展开
收起
cuicuicuic 2023-07-16 18:17:17 62 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    创建 ODPS SQL 节点时,需要提供以下背景信息:

    节点名称:用于标识 ODPS SQL 节点的名称,可以根据需要进行自定义。

    所属文件夹:用于将 ODPS SQL 节点归类到指定的文件夹中,方便管理和查找。

    数据库:用于指定 ODPS SQL 节点需要操作的数据库。可以选择已经存在的数据库,或者创建新的数据库。

    SQL 语句:用于编写 ODPS SQL 节点需要执行的 SQL 语句。

    执行计划:用于指定 ODPS SQL 节点的执行计划,包括并行度、资源配置、数据导出和导入等。

    运行环境:用于指定 ODPS SQL 节点的运行环境,包括 MaxCompute 的版本、Java 版本等。

    2023-07-21 16:13:23
    赞同 展开评论 打赏
  • 在DataWorks中创建ODPS SQL节点时,需要提供一些背景信息。以下是创建ODPS SQL节点时需要的背景信息:

    1. 节点名称:为节点指定一个唯一的名称,用于在DataWorks中标识该节点。

    2. 节点描述(可选):可为节点添加描述,用于说明节点的作用或特点。

    3. 运行环境:选择要在哪个环境中运行该节点,例如开发环境、生产环境等。

    4. 数据源:选择节点使用的数据源,可以是已经创建的ODPS数据源或者其他类型的数据源。

    5. SQL脚本:在节点中编写ODPS SQL脚本,用于定义要执行的任务逻辑。您可以使用ODPS SQL语法进行数据分析、转换、计算等操作。

    6. 输入和输出表:根据实际需求,指定节点的输入和输出表。输入表可用于读取数据,输出表用于将处理后的结果保存到目标表中。

    7. 参数配置(可选):根据需要,可以设置节点的参数配置,例如并行度、优先级、资源消耗限制等。

    8. 调度配置(可选):如果需要定时调度节点的执行,可以配置调度信息,包括调度类型、调度时间等。

    2023-07-17 11:57:59
    赞同 展开评论 打赏
  • 因为每个作业从前期准备到提交等阶段都需要花费较长时间,因此如果要求处理几千至数万笔事务的业务,您可以使用ODPS SQL顺利完成。ODPS SQL是主要面向吞吐量的OLAP应用,详情请参见与标准SQL的主要区别及解决方法。ODPS SQL节点的使用限制如下:ODPS SQL不支持单独使用set、use和alias语句,必须和具体的SQL语句一起执行,示例如下。 set a=b;create table name(id string);ODPS SQL不支持关键字(set、use和alias)语句后单独加注释,示例如下。 create table name(id string);set a=b; //注释,不支持该注释。create table name1(id string);数据开发与调度运行的区别如下:数据开发:合并当前任务代码内所有的关键字(set、use和alias)语句,作为所有SQL的前置语句。调度运行:按照顺序执行。set a=b;create table name1(id string);set c=d;create table name2(id string);运行结果如下表所示。执行SQL 数据开发 调度运行
    第一条SQL语句 set a=b; set a=b;
    第二条SQL语句 set a=b; set c=d;调度参数配置必须是key=value的格式,且(=)前后不支持空格,示例如下。 time={yyyymmdd hh:mm:ss} //错误a =b //错误如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请使用其它变量名称,避免冲突,示例如下。 bizdate=201908 //错误,不支持。数据开发需要查询结果,仅支持select、read和with起始的SQL语句,否则无结果输出。执行多条SQL语句时,请用分号(;)分隔,且需要换行。错误示例 create table1;create table2
    正确示例 create table1;create table2;MaxCompute 2.0扩展函数使用到新数据类型时,您需要在该函数的SQL语句前加set odps.sql.type.system.odps2=true;,并与SQL一起提交运行,以便正常使用新数据类型。SQL
    https://help.aliyun.com/document_detail/201514.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 18:25:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载