【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-03-MaxCompute内置函数(下)

简介: 【实验】阿里云大数据助理工程师认证(ACA)- ACA认证配套实验-03-MaxCompute内置函数(下)

第 2 章:实验详情


2.1 数值类函数


(1) 三角函数类

已知三角形两边长度为10,20,夹角为60度,求三角形面积

select 0.51020sin(60/1803.1415926) from dual;

输入sql脚本,点击【运行】,查看结果

20200706081140458.png


(2) 数字整形类:


对数字进行加工处理,请分别显示数字 3.1415926 的向上取整值、向下取整值、四舍五入保留3位小数的值、截掉小数位的值以及用二进制来表示该值。

Select ceil(3.1415926),
floor(3.1415926),
round(3.1415926,3),
trunc(3.1415926),
conv(‘3.1415926’,10,2)
from dual;

输入脚本,点击【运行】,查看结果

20200706081200461.png

(3) 随机函数类:

select rand() from dual;
select rand(detail_id),rand() from t_dml limit 10;

输入sql脚本,点击【运行】,查看结果

20200706081222725.png

(4) 综合使用
  使用蒙特卡洛法求π值的近似值:产生一系列的成对的随机数,根据每队随机数到点(0.5,0.5)的距离可判断该点是否在单位圆内,计算落在圆内的点占所有点的比例,即可得到π值的近似值:
     // 产生约10万对随机点进行近似值计算:
select (inCircle/totalCnt)/pow(0.5,2) as PI 
from (select count(*) as totalCnt,
sum(case when sqrt(pow((x-0.5),2)+pow((y-0.5),2)) <0.5 then 1 else 0 end) inCircle
from (select /*+mapjoin(t2)*/ rand() as x,rand() as y
from (select * from t_dml limit 10000) t1
left outer join (select * from t_dml limit 10) t2
 on t1.detail_id <> t2.detail_id) tt
) t;
// 产生约100万对随机点进行近似值计算:
select (inCircle/totalCnt)/pow(0.5,2) as PI
from (select count(*) as totalCnt,
sum(case when sqrt(pow((x-0.5),2)+pow((y-0.5),2)) <0.5 then 1 else 0 end) inCircle
from (select /*+mapjoin(t2)*/ rand() as x,rand() as y
from (select * from t_dml limit 10000) t1
left outer join (select * from t_dml limit 100) t2
on t1.detail_id <> t2.detail_id) tt
) t;

输入脚本,点击【运行】,查看结果:

202007060812529.png

输入脚本,点击【运行】,查看结果:

20200706081312575.png

2.2 字符串类函数


(1) 长度类:


输入脚本,点击【运行】,查看结果

select province,length(province),lengthb(province) from t_dml limit 10;

20200706081341572.png

(2) 查找类:

目前销售记录中,哪些省、市名字比较接近?


select province, city, char_matchcount(province, city) as sim


 from (select distinct province, city
          from t_dml) t

order by sim desc

limit 10;


输入脚本,点击【运行】,查看结果

2020070608140294.png

目前销售记录中,省份的第一个字在城市名中是否出现?有没有出现多次的?


select province, city,


instr(city,substr(province,1,3),1,1) as FirstPos,


case when instr(city,substr(province,1,3),1,2) = 0 then ‘No’


else ‘Yes’


end as SecondPos

 from (select distinct province, city
          from t_dml) t

order by SecondPos desc, FirstPos desc

limit 10;


输入脚本,点击【运行】,查看结果

20200706081424289.png


(3) 转换类:


要把数据从一个编码为 utf8 的库导入到一个字符集为 gb2132 的库中,其中有些繁体字,如“阿裏雲”等字样,请问会出现乱码的情况吗?


select is_encoding(‘阿裏雲’, ‘utf-8’, ‘gb2312’) from dual;


输入脚本,点击【运行】,查看结果

2020070608144692.png

(4) 整形类:


select concat(province, ‘|’,city) from t_dml limit 10;


select category_name, tolower(split_part(category_name,' ',2))


from t_product;

输入脚本,点击【运行】,查看结果

20200706081505275.png

输入脚本,点击【运行】,查看结果

20200706081525306.png


2.3 日期类函数


(1) 日期获取:

//根据日期,截取部分信息

select dt,

datepart(dt, ‘yyyy’) as year,

             datepart(dt, 'mm') as month,
             datepart(dt, 'dd') as day,
             datepart(dt, 'hh') as hour,
             datepart(dt, 'mi') as minute,


datepart(dt, ‘ss’) as second

from (select getdate() dt from dual) t;


输入脚本,点击【运行】,查看结果

2020070608155682.png

// 日期截取

select datetrunc(‘2015-01-31 02:30:45’, ‘dd’) from dual;

输入脚本,点击【运行】,查看结果

20200706081617427.png


// 获得具体日期


select getdate(),lastday(getdate()),weekday(getdate()),weekofyear(getdate())


from dual;


输入脚本,点击【运行】,查看结果

2020070608163732.png


(2) 日期转换:


//字符串转成日期, 日期转换成字符串

select to_date(‘20150131’,‘yyyymmdd’),
to_char(‘2015-01-31 00:00:00’, ‘日期:yyyymmdd’)
from dual;

输入脚本,点击【运行】,查看结果

20200706081657423.png

// Unix时间和ODPS时间互转

select from_unixtime(1), unix_timestamp(‘2015-10-01 00:00:00’) from dual;

输入脚本,点击【运行】,查看结果

20200706081716326.png

// 判断字符串是否满足预定义的日期格式

select sale_date, isdate(sale_date, ‘yyyymmdd’) from t_dml limit 10;

输入脚本,点击【运行】,查看结果

20200706081734939.png


(3) 日期运算:


统计5月1日从产品5第一次成交后一小时三十分钟内(含),产品5销量(含第一次成交)占同期总销量的比例:

select /+mapjoin(t2)/
sum(case when product_id=5 then cnt else 0 end)/sum(cnt)
 from t_dml t1
    join (select min(sale_date) as begin_dt,
                          dateadd(dateadd(min(sale_date),1,'hh'),30, 'mi') as end_dt
                 from t_dml
         where product_id=5
                   and datetrunc(sale_date,'dd')='2015-05-01 00:00:00')t2
       on t1.sale_date >= t2.begin_dt
  and t1.sale_date <= t2.end_dt;

输入脚本,点击【运行】,查看结果

20200706081756381.png

日期相减:

select max(sale_date), min(sale_date),
datediff(max(sale_date),min(sale_date),‘dd’)
from t_dml;

输入脚本,点击【运行】,查看结果

20200706081816611.png


第 3 章:实验总结


3.1 实验总结


MaxCompute的这几类函数基本覆盖了我们日常工作的绝大多数数据处理需求,通过灵活熟练的使用这些函数,

可以提升开发效率,若仍有无法满足的需求,还可以考虑自定义函数。


第 4 章:课后任务


4.1 课后任务


1、计算t_dml表中最大的日期距离2017-08-01的天数

2、计算t_dml表中province字段,以“省”结尾的值的个数

3、计算t_product表各产品价格与产品对应分类下所有产品平均价格的差额,输出产品id和价格差额

目录
相关文章
|
6月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
309 0
|
4月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
388 1
|
7月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
192 2
|
7月前
|
人工智能 分布式计算 大数据
构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践
本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。
863 2
|
10月前
|
存储 分布式计算 运维
课时6:阿里云MaxCompute:轻松玩转大数据
阿里云MaxCompute是全新的大数据计算服务,提供快速、完全托管的PB级数据仓库解决方案。它拥有高效的压缩存储技术、强大的计算能力和丰富的用户接口,支持SQL查询、机器学习等高级分析。MaxCompute兼容多种计算模型,开箱即用,具备金融级安全性和灵活的数据授权功能,帮助企业节省成本并提升效率。
337 0
|
Oracle 关系型数据库 数据库
阿里云数据库 ACP 问题之阿里云数据库ACP认证与ACA认证有什么区别
阿里云数据库 ACP 问题之阿里云数据库ACP认证与ACA认证有什么区别
567 1
阿里云数据库 ACP 问题之阿里云数据库ACP认证与ACA认证有什么区别
|
SQL 存储 分布式计算
MaxCompute 入门:大数据处理的第一步
【8月更文第31天】在当今数字化转型的时代,企业和组织每天都在产生大量的数据。有效地管理和分析这些数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个用于处理海量数据的大规模分布式计算服务。它提供了强大的存储能力以及丰富的数据处理功能,让开发者能够快速构建数据仓库、实时报表系统、数据挖掘等应用。本文将介绍 MaxCompute 的基本概念、架构,并演示如何开始使用这一大数据处理平台。
1969 0
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
336 14
|
6月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
224 4
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
197 0