MaxCompute常用语句汇总(更新ing)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 收集一些MaxCompute常用命令。

大数据计算服务(MaxCompute,原名ODPS, 产品地址: https://www.aliyun.com/product/odps ) 是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。本文收录了一些MaxCompute常用SQL、MR、Tunnel等语句,帮助您快速了解并使用MaxCompute/ODPS。

创建内部表
CREATE TABLE table_name (name string); 
 
创建内部表,并指定分区字段
CREATE TABLE table_name (name string) PARTITIONED BY (ds string); 

创建内部表,并指定生命周期
CREATE TABLE table_name (name string) 
PARTITIONED BY (ds string) LIFECYCLE 365;

创建内部表,并从其他表导入数据

CREATE TABLE table_name AS SELECT * FROM table_name2 ;


创建内部表,并从其他表复制表结构

CREATE TABLE table_name LIKE table_name2 ;


创建虚拟DUAL表
-- 创建表
CREATE TABLE IF NOT EXISTS dual (
    value BIGINT COMMENT 'value'
)
COMMENT 'dual';

-- 插入一条数据
INSERT OVERWRITE TABLE dual
SELECT COUNT(*)
FROM dual;


创建外部表
CREATE EXTERNAL TABLE IF NOT EXISTS table_name
(
a type,
)
STORED BY 'com.aliyun.odps.CsvStorageHandler' -- (1)
WITH SERDEPROPERTIES (
'odps.properties.rolearn'='acs:ram::1811270634786818:role/aliyunodpsdefaultrole'
) -- (2)
LOCATION 'oss://oss-cn-shanghai-internal.aliyuncs.com/oss-odps-test/Demo/'; -- (3)(4)

创建内部表,并判断是否内布表是否已经存在
CREATE TABLE  IF NOT EXISTS  table_name (name string); 
加了 IF NOT EXISTS ,sql执行的结果总是成功;如果没加,表存在的情况下会返回失败。

显示所有表
SHOW TABLES;

显示部分表
SHOW TABLES LIKE 'yinlin*';

显示表分区
SHOW PARTITIONS <table_name>

表中添加一列 
ALTER TABLE table_name ADD COLUMNS (col_name1 type1)
可以一次增加多个列

添加一列并增加列字段注释
ALTER TABLE table_name ADD COLUMNS (test type COMMENT '测试');

更改表名
ALTER TABLE table_name RENAME TO new_table_name;

删除表
DROP TABLE table_name;

修改列名
ALTER TABLE table_name CHANGE COLUMN old_col_name RENAME TO new_col_name;

删除、修改列记录
1、创建一张表,结果为预期的表结构;

CREATE TABLE table2 (xxx);

2、把数据从原表导入到目标表,可以用SQL,比如:

INSERT OVERWRITE TABLE table2 SELECT * FROM table1;

3、更换表名:

ALTER TABLE table1 RENAME TO table1_bak;

ALTER TABLE table2 RENAME TO table1;

将文件中的数据加载到表中
TUNNEL upload -fd '\t' c:\file.txt table_name;

将表数据导出到文件中
TUNNEL d table_name c:\file.txt;

查看表的描述
DESC table_name; 

按条件查询
SELECT * FROM table_name  WHERE foo='';

统计数据总量

SELECT COUNT(1) FROM table_name;

将一个表的统计结果插入另一个表中
 INSERT OVERWRITE TABLE table_name SELECT a.bar, count(1) FROM table_name a WHERE a.foo > 0 GROUP BY a.bar;


欢迎大家补充...
https://yq.aliyun.com/ask/59888


3d0bf925ff04ddc63c499df7ac1bb482d10999ec

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
SQL 分布式计算 资源调度
MaxCompute常见错误汇总(更新ing)
从今天开始,小编会为大家陆续解读MaxCompute常见问题,帮助大家快速上手MaxCompute,玩转大数据计算平台。
23778 2
|
SQL 分布式计算 算法
MaxCompute数据仓库在更新插入、直接加载、全量历史表三大算法中的数据转换实践
2018“MaxCompute开发者交流”钉钉群直播分享,由阿里云数据技术专家彬甫带来以“MaxCompute数据仓库数据转换实践”为题的演讲。本文首先介绍了MaxCompute的数据架构和流程,其次介绍了ETL算法中的三大算法,即更新插入算法、直接加载算法、全量历史表算法,再次介绍了在OLTP系统中怎样处理NULL值,最后对ETL相关知识进行了详细地介绍。
5394 0
|
分布式计算 大数据 调度
【8.23更新--技术干货全家桶】大数据计算技术共享计划 — MaxCompute技术公开课第二季
5月底MaxCompute开启大数据计算技术共享计划,第一季,为大数据爱好者和企业客户带来了MaxCompute数据开发实战的四次主题分享,有1500多名用户线上参加了共享季直播。7月24日,MaxCompute开启第二季技术公开课,近6000名大数据爱好者和企业客户参加了第二季的5次主题直播,越来越多的大数据专家、技术牛人、爱好者参与到我们的技术共享活动中来,让我们一起玩大数据如烹小鲜吧。
7013 0
|
存储 分布式计算 NoSQL
MaxCompute访问TableStore(OTS) 数据(20170601更新)
MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。
10473 0
|
SQL 移动开发 分布式计算
MAXCOMPUTE操作基础SQL语句(DDL部分)
整理了部分MAXCOMPUTE日常操作中的常用语句供使用过程中备查
2392 0
|
SQL 分布式计算 大数据
MaxCompute SQL中的更新和删除如何实现
MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。   由于 MaxCompute是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。
6187 0
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
309 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
48 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1

相关产品

  • 云原生大数据计算服务 MaxCompute