阿里云-DataWorks- ODPS SQL开发2

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 阿里云-DataWorks- ODPS SQL开发2 本文主要讲解日常大量会接触到的一些常用函数与关键词

前言

我们在DataWorks空间下做数据开发时会经常用到大量的函数,本文主要讲解日常大量会接触到的一些。

常用函数与关键词:

1、coalesce(expr1,expr2)
返回列表中第一个非null的值
2、concat(string A,string B)
将参数中的所有字符串连接在一起 如果没有参数或者有某个参数为null就返回null
3、cast(expr as )
将表达式的结果转换成目标类型
4、ROUND(column_name,decimals) 函数
用于把数值字段(column_name)舍入为指定的小数位数(decimals)
5、trans_cols(num_keys,key1,key2…,col1,col2)
将一行数据转化多行数据,将不同的列转化为行 属于UDTF(输入一行数据,输出多行数据)
例如:一行数据A B C D转化为ABC ABD 则写成trans_cols(2,A,B,C,D) as (idx,A,B,key)
6、 ascii(expr)
将参数字符串的第一个字符转化成ascii码值,ascii(’’) = 0
7、decode(expr1,expr2,expr3,[expr4,expr5]expr6) 代替if-else if-else结构,if expr1 = 8、expr2 then expr3 else if expr1=expr4 then expr5… else expr6
9、rpad(string str, int len, string pad) :
返回指定长度(len)的字符串,给定字符串(str)长度小于指定长度时,由指定字符(pad)从右侧填补。例如:rpad(‘12345’, 6, ‘0’)返回为’123456’
10、GREATEST函数: 返回输入参数中最大的一个
SELECT GREATEST(9,99,999,9999,99999);
11、LEAST函数: 返回输入参数中最小的一个
SELECT LEAST(9,99,999,9999,99999);
12、UNIQUE_ID函数: 返回一个随机的唯一id,32位字符串
SELECT UNIQUE_ID();
13、UUID函数: 返回一个随机的唯一id,32位字符串
SELECT UUID();

常用关键字

1、having:MaxCompute SQL的WHERE关键字无法与合计函数一起使用,此时您可以使用HAVING子句来实现。例如:
SELECT Customer,SUM(OrderPrice) FROM Orders
2、GROUP BY Customer
3、HAVING SUM(OrderPrice)<2000
4、Left Outer Join:
左连接。返回左表中的所有记录,即使右表中没有与之匹配的记录。
5、Right Outer Join:右连接。返回右表中的所有记录,即使左表中没有与之匹配的记录。
6、Full Outer Join:全连接。返回左右表中的所有记录。
7、Inner Join:内连接,关键字inner可以省略。表中存在至少一个匹配时,inner join返回行。
8、delete:删除表的内容,表的结构还存在,不释放空间,可以回滚恢复;
9、drop:删除表内容和结构,释放空间,没有备份表之前要慎用;
10、truncate:删除表的内容,表的结构存在,可以释放空间,没有备份表之前要慎用;drop > truncate > delete

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标 &nbsp;通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群 &nbsp;企业数据仓库开发人员 &nbsp;大数据平台开发人员 &nbsp;数据分析师 &nbsp;大数据运维人员 &nbsp;对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
13天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
31 0
|
2天前
|
存储 分布式计算 DataWorks
【阿里云云原生专栏】云原生下的数据湖建设:阿里云MaxCompute与DataWorks解决方案
【5月更文挑战第26天】在数字化时代,数据成为企业创新的关键。阿里云MaxCompute和DataWorks提供了一种构建高效、可扩展数据湖的解决方案。数据湖允许存储和分析大量多格式数据,具备高灵活性和扩展性。MaxCompute是PB级数据仓库服务,擅长结构化数据处理;DataWorks则是一站式大数据协同平台,支持数据集成、ETL和治理。通过DataWorks收集数据,MaxCompute存储和处理,企业可以实现高效的数据分析和挖掘,从而提升业务洞察和竞争力。
12 0
|
5天前
|
SQL 关系型数据库 Java
实时计算 Flink版操作报错之在阿里云DataHub平台上执行SQL查询GitHub新增star仓库Top 3时不显示结果,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
5天前
|
SQL 关系型数据库 数据库
阿里云数据库 RDS SQL Server版实战【性能优化实践、优点探析】
本文探讨了Amazon RDS SQL Server版在云数据库中的优势,包括高可用性、可扩展性、管理便捷、安全性和成本效益。通过多可用区部署和自动备份,RDS确保数据安全和持久性,并支持自动扩展以适应流量波动。可视化管理界面简化了监控和操作,而数据加密和访问控制等功能保障了安全性。此外,弹性计费模式降低了运维成本。实战应用显示,RDS SQL Server版能有效助力企业在促销高峰期稳定系统并保障数据安全。阿里云的RDS SQL Server版还提供了弹性伸缩、自动备份恢复、安全性和高可用性功能,进一步优化性能和成本控制,并与AWS生态系统无缝集成,支持多种开发语言和框架。
29 2
|
13天前
|
分布式计算 DataWorks Oracle
DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
33 0
|
13天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
29 0
|
13天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
27 0
|
13天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在DataWorks数据集成中,但是预览ODPS源数据库为空,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
32 0
|
13天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之在DataWorks数据开发模块中一直显示“工作空间默认初始化中”,该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
32 3

热门文章

最新文章