如何用SQL对MaxCompute数据进行修改和删除

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute SQL不支持对数据的Update和Delete操作,但是实际工作中可能确实有一些场景需要这样处理,怎么办呢?本文就各种场景下的的解决方法做一个说明。 特别提醒大家,在工作中为避免误操作,尽量避免直接对数据进行直接的修改和删除,建议是创建一张新的表,把结果表进过加工后写入新的表

MaxCompute SQL不支持对数据的Update和Delete操作,但是实际工作中可能确实有一些场景需要这样处理,怎么办呢?实际上,MaxCompute SQL的Insert语法支持Insert Into/Overwrite两种数据导入的方式。分别对应数据导入的追加写入和覆盖写入两种场景。追加写入比较容易理解,覆盖写入是指,如果覆盖写入的表是非分区表,那就清空这个表的内容然后用新的结果覆盖进去。如果是非分区表,那就清空相关的分区,然后重新写入数据。本文就各种场景下的的解决方法做一个说明。

Update

从前面的描述可以看到,Insert Overwrite的就是一个现成的Update功能,我们要Update不正是要用Update后的结果来覆盖Update前的结果吗。所以我们可以把需要Update后的结果Select出来,然后Insert Overwrite回去,就能实现了Update的结果了。这里用几个简单的例子来说明下方便理解:

--元数据
+------------+------------+------------+------------+------------+------------+------------+------------+
| empno      | ename      | job        | mgr        | hiredate   | sal        | comm       | deptno     |
+------------+------------+------------+------------+------------+------------+------------+------------+
| 7499       | ALLEN      | SALESMAN   | 7698     | 1981-02-20 00:00:00 | 1600.0     | 300.0      | 30       |
| 7521       | WARD       | SALESMAN   | 7698     | 1981-02-22 00:00:00 | 1250.0     | 500.0      | 30       |
| 7654       | MARTIN     | SALESMAN   | 7698     | 1981-09-28 00:00:00 | 1250.0     | 1400.0     | 30       |
| 7698       | BLAKE      | MANAGER    | 7839     | 1981-05-01 00:00:00 | 2850.0     | NULL       | 30       |
| 7782       | CLARK      | MANAGER    | 7839     | 1981-06-09 00:00:00 | 2450.0     | NULL       | 10       |
| 7844       | TURNER     | SALESMAN   | 7698     | 1981-09-08 00:00:00 | 1500.0     | 0.0        | 30       |
| 7900       | JAMES      | CLERK      | 7698     | 1981-12-03 00:00:00 | 950.0      | NULL       | 30       |
| 7902       | FORD       | ANALYST    | 7566     | 1981-12-03 00:00:00 | 3000.0     | NULL       | 20       |
| 7788       | SCOTT      | ANALYST    | 7566     | 1987-07-13 01:00:00 | 3000.0     | NULL       | 20       |
| 7876       | ADAMS      | CLERK      | 7788     | 1987-07-13 01:00:00 | 1100.0     | NULL       | 20       |
+------------+------------+------------+------------+------------+------------+------------+------------+

--原SQL
Update Table emp Set comm  = 0 where comm is null;
--新SQL
--其实这里有个内建函数coalesce会更简单,但是用case when比较容易理解
Insert Overwrite table emp Select empno,ename, job,mgr,hiredate,sal,case when comm is null then 0.0 else comm end as comm,deptno from emp;

+------------+------------+------------+------------+------------+------------+------------+------------+
| empno      | ename      | job        | mgr        | hiredate   | sal        | comm       | deptno     |
+------------+------------+------------+------------+------------+------------+------------+------------+
| 7698       | BLAKE      | MANAGER    | 7839     | 1981-05-01 00:00:00 | 2850.0     | 0.0        | 30       |
| 7788       | SCOTT      | ANALYST    | 7566     | 1987-07-13 01:00:00 | 3000.0     | 0.0        | 20       |
| 7782       | CLARK      | MANAGER    | 7839     | 1981-06-09 00:00:00 | 2450.0     | 0.0        | 10       |
| 7902       | FORD       | ANALYST    | 7566     | 1981-12-03 00:00:00 | 3000.0     | 0.0        | 20       |
| 7876       | ADAMS      | CLERK      | 7788     | 1987-07-13 01:00:00 | 1100.0     | 0.0        | 20       |
| 7900       | JAMES      | CLERK      | 7698     | 1981-12-03 00:00:00 | 950.0      | 0.0        | 30       |
| 7499       | ALLEN      | SALESMAN   | 7698     | 1981-02-20 00:00:00 | 1600.0     | 300.0      | 30       |
| 7654       | MARTIN     | SALESMAN   | 7698     | 1981-09-28 00:00:00 | 1250.0     | 1400.0     | 30       |
| 7844       | TURNER     | SALESMAN   | 7698     | 1981-09-08 00:00:00 | 1500.0     | 0.0        | 30       |
| 7521       | WARD       | SALESMAN   | 7698     | 1981-02-22 00:00:00 | 1250.0     | 500.0      | 30       |
+------------+------------+------------+------------+------------+------------+------------+------------+

如果是分区表的数据需要修改数据的话,就套用分区表的Insert语法和Select语法,都是一样的道理,就不一一举例了。

Delete

Delete删除数据,分为是要删除某个表或者分区里的全部数据,还是只是删除一部分的数据。

删除全部数据

如果需要删除某个非分区表,使用 TRUNCATE TABLE table_name;删除这个表里的全部数据

如果需要删除的是分区表里的数据,需要ALTER TABLE table_name DROP PARTITION;的方式将这个分区删掉从而实现删除对应的分区里的数据(分区连同分区里的数据一起被删除)。

odps@ aliyun2014>show partitions partition_table;

ds=20160101
ds=20160102

OK
odps@ aliyun2014>alter table partition_table drop if exists partition(ds='20160102');
Confirm to "alter table partition_table drop if exists partition(ds='20160102');" (yes/no)? yes

OK
>show partitions partition_table;

ds=20160101

OK

删除部分数据

删除部分数据,就是指通过where语句过滤,只删除部分数据的情况。Delete也是用Insert Overwrite来实现的。如果需要删除一部分的数据,那其实就是覆盖写入剩下的数据。如果要删除全部的数据,那就是覆盖写入空数据。这里还是只提到普通表的例子,和Update一样,普通表和分区表的区别,就是Insert的时候,需要指定修改的分区,或者使用动态分区。

--数据集使用上个例子的Update之前的emp进行操作
--原SQL 希望删除里面的job为SALESMAN的记录
Delete from emp where comm >500;
--新SQL,注意对空值的处理,一些常见下可以考虑用Union all
Insert Overwrite Table Emp Select * From Emp Where  comm <=500 or comm is null;

--结果集
+------------+------------+------------+------------+------------+------------+------------+------------+
| empno      | ename      | job        | mgr        | hiredate   | sal        | comm       | deptno     |
+------------+------------+------------+------------+------------+------------+------------+------------+
| 7698       | BLAKE      | MANAGER    | 7839     | 1981-05-01 00:00:00 | 2850.0     | NULL       | 30       |
| 7788       | SCOTT      | ANALYST    | 7566     | 1987-07-13 01:00:00 | 3000.0     | NULL       | 20       |
| 7782       | CLARK      | MANAGER    | 7839     | 1981-06-09 00:00:00 | 2450.0     | NULL       | 10       |
| 7902       | FORD       | ANALYST    | 7566     | 1981-12-03 00:00:00 | 3000.0     | NULL       | 20       |
| 7876       | ADAMS      | CLERK      | 7788     | 1987-07-13 01:00:00 | 1100.0     | NULL       | 20       |
| 7900       | JAMES      | CLERK      | 7698     | 1981-12-03 00:00:00 | 950.0      | NULL       | 30       |
| 7499       | ALLEN      | SALESMAN   | 7698     | 1981-02-20 00:00:00 | 1600.0     | 300.0      | 30       |
| 7844       | TURNER     | SALESMAN   | 7698     | 1981-09-08 00:00:00 | 1500.0     | 0.0        | 30       |
| 7521       | WARD       | SALESMAN   | 7698     | 1981-02-22 00:00:00 | 1250.0     | 500.0      | 30       |
+------------+------------+------------+------------+------------+------------+------------+------------+

总的看来,这些都不是太有难度的东西,都只是一些比较常用的小技巧。希望这些小技巧能帮助到大家,让工作变得更加有效率。

在最后还是提醒大家,在工作中为避免误操作,尽量避免直接对数据进行直接的修改和删除,建议是创建一张新的表,把结果表进过加工后写入新的表。写入结束核对好了数据后,再把数据导过来。请务必注意数据备份!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
2月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
254 92
|
4月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
929 7
|
7天前
|
SQL 分布式计算 数据挖掘
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
4月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
138 2
|
12天前
|
人工智能 算法 大数据
数据的“潘多拉魔盒”:大数据伦理的深度思考
数据的“潘多拉魔盒”:大数据伦理的深度思考
51 25
|
19天前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
2月前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
4天前
|
SQL 容灾 关系型数据库
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
SQL Server 以其卓越的易用性和丰富的软件生态系统,在数据库行业中占据了显著的市场份额。作为一款商业数据库,外部厂商在通过解析原生日志实现增量数据捕获上面临很大的挑战,DTS 在 SQL Sever 数据通道上深研多年,提供了多种模式以实现 SQL Server 增量数据捕获。用户可以通过 DTS 数据传输服务,一键打破自建 SQL Server、RDS SQL Server、Azure、AWS等他云 SQL Server 数据孤岛,实现 SQL Server 数据源的流动。
51 0
阿里云DTS踩坑经验分享系列|DTS打通SQL Server数据通道能力介绍
|
12天前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
32 9
|
22天前
|
存储 分布式计算 大数据
大数据与云计算:无缝结合,开启数据新纪元
大数据与云计算:无缝结合,开启数据新纪元
130 11

相关产品

  • 云原生大数据计算服务 MaxCompute