阿里云-DataWorks- ODPS SQL开发2

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: 阿里云-DataWorks- ODPS SQL开发2 本文主要讲解日常大量会接触到的一些常用函数与关键词

前言

我们在DataWorks空间下做数据开发时会经常用到大量的函数,本文主要讲解日常大量会接触到的一些。

常用函数与关键词:

1、coalesce(expr1,expr2)
返回列表中第一个非null的值
2、concat(string A,string B)
将参数中的所有字符串连接在一起 如果没有参数或者有某个参数为null就返回null
3、cast(expr as )
将表达式的结果转换成目标类型
4、ROUND(column_name,decimals) 函数
用于把数值字段(column_name)舍入为指定的小数位数(decimals)
5、trans_cols(num_keys,key1,key2…,col1,col2)
将一行数据转化多行数据,将不同的列转化为行 属于UDTF(输入一行数据,输出多行数据)
例如:一行数据A B C D转化为ABC ABD 则写成trans_cols(2,A,B,C,D) as (idx,A,B,key)
6、 ascii(expr)
将参数字符串的第一个字符转化成ascii码值,ascii(’’) = 0
7、decode(expr1,expr2,expr3,[expr4,expr5]expr6) 代替if-else if-else结构,if expr1 = 8、expr2 then expr3 else if expr1=expr4 then expr5… else expr6
9、rpad(string str, int len, string pad) :
返回指定长度(len)的字符串,给定字符串(str)长度小于指定长度时,由指定字符(pad)从右侧填补。例如:rpad(‘12345’, 6, ‘0’)返回为’123456’
10、GREATEST函数: 返回输入参数中最大的一个
SELECT GREATEST(9,99,999,9999,99999);
11、LEAST函数: 返回输入参数中最小的一个
SELECT LEAST(9,99,999,9999,99999);
12、UNIQUE_ID函数: 返回一个随机的唯一id,32位字符串
SELECT UNIQUE_ID();
13、UUID函数: 返回一个随机的唯一id,32位字符串
SELECT UUID();

常用关键字

1、having:MaxCompute SQL的WHERE关键字无法与合计函数一起使用,此时您可以使用HAVING子句来实现。例如:
SELECT Customer,SUM(OrderPrice) FROM Orders
2、GROUP BY Customer
3、HAVING SUM(OrderPrice)<2000
4、Left Outer Join:
左连接。返回左表中的所有记录,即使右表中没有与之匹配的记录。
5、Right Outer Join:右连接。返回右表中的所有记录,即使左表中没有与之匹配的记录。
6、Full Outer Join:全连接。返回左右表中的所有记录。
7、Inner Join:内连接,关键字inner可以省略。表中存在至少一个匹配时,inner join返回行。
8、delete:删除表的内容,表的结构还存在,不释放空间,可以回滚恢复;
9、drop:删除表内容和结构,释放空间,没有备份表之前要慎用;
10、truncate:删除表的内容,表的结构存在,可以释放空间,没有备份表之前要慎用;drop > truncate > delete

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
18天前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
524 31
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
1月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
3月前
|
存储 分布式计算 DataWorks
从MaxCompute到Milvus:通过DataWorks进行数据同步,实现海量数据高效相似性检索
如果您需要将存储在MaxCompute中的大规模结构化数据导入Milvus,以支持高效的向量检索和相似性分析,可以通过DataWorks的数据集成服务实现无缝同步。本文介绍如何利用DataWorks,快速完成从MaxCompute到Milvus的离线数据同步。
|
3月前
|
SQL 人工智能 分布式计算
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
57 0
|
5月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
5月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
6月前
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
264 35
|
8月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
366 1
|
9月前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。

热门文章

最新文章