大数据计算MaxCompute sql和spark sql的函数对照表吗?
在MaxCompute和Spark SQL中,有许多内置函数可以使用。以下是MaxCompute和Spark SQL中一些常用函数的对照表:
MaxCompute SQL | Spark SQL
-- | --
COUNT() | count()
SUM(column) | sum(column)
AVG(column) | avg(column)
MAX(column) | max(column)
MIN(column) | min(column)
GROUP BY | group by
HAVING | having
LEFT JOIN | left join
RIGHT JOIN | right join
INNER JOIN | inner join
LIKE | like
IN | in
IS NULL | is null
COALESCE | coalesce
CAST | cast
IFNULL | ifnull
CONCAT | concat
TRIM | trim
UPPER | upper
LOWER | lower
SUBSTRING | substring
REGEXP_EXTRACT | regexp_extract
REGEXP_REPLACE | regexp_replace
DATE | date
DATE_FORMAT | date_format
TIME | time
TIME_FORMAT | time_format
TIMESTAMP | timestamp
TIMESTAMP_FORMAT | timestamp_format
FROM_UNIXTIME | from_unixtime
UNIX_TIMESTAMP | unix_timestamp
PIVOT | pivot
CUBE | cube
RANK | rank
DENSE_RANK | dense_rank
ROW_NUMBER | row_number
LEAD | lead
LAG | lag
LAG(LAG()) | lag(lag())
LAG(LAG(column), offset) | lag(lag(column), offset)
LAG(LAG(column), offset, default) | lag(lag(column), offset, default)
OVER | over
ROW_NUMBER() | row_number()
PARTITION BY | partition by
ORDER BY | order by
ASC | asc
DESC | desc
这里可以参考下SQL的内建函数,spark的参考开源
https://help.aliyun.com/zh/maxcompute/user-guide/overview?spm=a2c4g.11186623.0.0.54674d0bT3ZsC0,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。