SQL、DML和DDL

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
实时数仓Hologres,5000CU*H 100GB 3个月
简介: SQL、DML和DDL

文章目录


DDL和DML

DDL和DML语句有很多,这里只写在有了sql基础之后,比较特别的部分,如果工作需要其他函数的话可以直接查阅blink文档,这里不赘述了。

DDL:

Data Definition Language 数据定义语言,这部分主要分为stream ,batch,view,函数。

其实很好理解,建议不要直接啃语法,因为本身就没啥难度,看完语法反而有点晕。看一遍下面的步骤就很好理解了:创建原表,然后创建结果表,创建视图进行数据的一些操作,然后将视图中的数据插入结果表中,这就是一个最简单的代码结构了。

  1. 我们先从实例出发,一般的操作步骤如下:创建数据总线(DataHub)源表系统订单是实时产生的,源表语句如下。
    系统订单是实时产生的,源表语句如下
CREATE TABLE online_retailers (
    id                    VARCHAR,  -- 商品ID
    buyer_id              VARCHAR,  -- 买家ID
    site                  VARCHAR,  -- 商品类别
    pay_time              VARCHAR,  -- 订单支付时间
    buy_amount            DOUBLE,   -- 订单金额
    wap                   VARCHAR   -- 购买方式
) WITH (
    type = 'datahub',
    endPoint = 'xxx',
    roleArn='xxx',
    project = 'xxx',
    topic = 'xxx',
  batchReadSize='500'
);

2.创建RDS结果表

RDS结果表语句如下。

CREATE TABLE ads_site_block_trd_pay_ri (
    id                    VARCHAR,
    buyer_id              VARCHAR,
    site                  VARCHAR,
    pay_time              VARCHAR,
    buy_amount            DOUBLE,
    wap                   VARCHAR,
    PRIMARY KEY (id,buyer_id,site)
) WITH (
    type= 'rds',
    url = 'xxx',
    userName = 'xxx',
    password = 'xxx',
    tableName = 'xxx'
);

3.创建一个View视图

如下根据商品ID、买家ID、商品类别、订单支付时间、订单金额和购买方式做分组操作。

CREATE VIEW tmp_ads_site_block_trd_pay_ri AS
SELECT
id,
buyer_id,
site,
date_format(pay_time,'MMdd-yyyy','yyyyMMdd') as pay_time,
SUM(buy_amount) as buy_amount,
wap
FROM
online_retailers
GROUP BY id,buyer_id,site,pay_time,buy_amount,wap;
4.数据聚合后插入RDS结果表
把分组好的数据聚合后插入RDS结果表中,语句如下。
INSERT INTO ads_site_block_trd_pay_ri
SELECT
id,
buyer_id,
site,
pay_time,
buy_amount,
wap
FROM
tmp_ads_site_block_trd_pay_ri
GROUP BY id,buyer_id,site,pay_time,buy_amount,wap;

然后需要知道的就是流和批的概念,stream有创建源表,结果表,维表的语法;batch只有源表和结果表,文档就是这样的,我也不知道为啥。

Stream:

这里介绍的是stream中经常使用的源表,结果表,维表类型,具体的语法很简单,只是更改了with中的参数内容,具体可以参考官方文档:

https://help.aliyun.com/document_detail/62515.html?spm=a2c4g.11186623.6.748.2e2812edqxLSN1

https://yuque.antfin-inc.com/rtcompute/doc/sql-ddl-stream-source

源表:datahub,kafka,sls,tt,continuous odps

Datahub

阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。

Kafka作为源表

日志收集系统和消息系统。

从Kakfa读入的数据,都是序列化后VARBINARY(二进制)格式,对读入的每条数据,需要用户编写UDTF将其解析成序列化前的数据结构,Kafka源表数据解析流程一般为:Kafka Source Table -> UDTF -> Blink -> SINK。此外,blink SQL中也支持通过cast函数将varbinary解析为varchar类型

Sls

阿里云自主研发的针对日志数据的实时、大规模集中式管理服务SLS(Simple Log Service,简单日志服务),能够提供一个从日志采集、过滤、处理、聚合到在线查询的完整的海量日志处理平台,满足各种类型的日志处理分析需求,减轻广大开发者的负担。

TT

功能

  1. 实时数据总线
    即Publish/Subscribe数据分发能力,支持数据单份写入,多份读出。
    目前TT数据默认保存3天
  2. 数据同步
    即将TT的数据同步到其他云产品中,弹内主要以ODPS为主。

结果表:hologres,kafka,sls,odps,rds,datahub,metaq,print

Hologress

一款全面兼容PostgreSQL协议并与大数据生态无缝打通的实时交互式分析产品,支持对万亿级数据进行高并发低延时多维分析透视和业务探索,可让您轻松而经济的使用现有BI工具分析所有数据

Rds

Relational database service 关系型数据库

Metaq

MetaQ是什么

meatq是阿里团队的消息中间件。是支撑双11最为核心的系统之一。

MetaQ的使用目的

解耦收发双方,使得系统异步化,同时利用消息中间件堆积消息的功能,可以使得下游系统在可以慢慢消费消息,增强系统的缓冲能力,达到“削峰填谷”的目的

维表:odps维表,rds维表

这里要首先介绍一下维表,以及为什么要进行维表join:

维表作为 SQL 任务中一种常见表的类型,其本质就是关联表数据的额外数据属性,通常在 Join 语句中进行使用。比如源数据有人的身份证号,人名,你现在想要得到人的家庭地址,那么可以通过身份证号去关联人的身份证信息,就可以得到更全的数据。

一般来说,还可以先join维表然后再进行补数据。

Blink SQL中没有专门为维表设计的DDL语法,使用标准的CREATE TABLE语法即可,但是需要额外增加一行PERIOD FOR SYSTEM_TIME的声明,这行声明定义了维表的变化周期,即表明该表是一张会变化的表。

声明一个维表的时候,必须要指名唯一键,维表JOIN的时候,ON的条件必须包含所有唯一键的等值条件。

CREATE TABLE white_list (
  id varchar,
  name varchar,
  age int,
  PRIMARY KEY (id),  -- 用做维表的话,必须有声明的主键
  PERIOD FOR SYSTEM_TIME  -- 定义了维表的变化周期
) with (
  type = 'xxx',
  ...
)

目前只支持源表 INNER/LEFT JOIN 维表

内置的维表提供三种缓存策略,分别是 None, LRU, ALL。不同类型的维表根据存储介质的特征支持其中一种或者多种缓存策略。

• None: 无缓存

• LRU: 最近使用策略缓存,需要配置相关参数:缓存大小(cacheSize)和 缓存超时时间(cacheTTLMs)

• ALL: 全量缓存策略。即在 Job 运行前会将远程表中所有数据 load 到内存中,之后所有的维表查询都会走 cache,cache 命中不到则不存在,并在缓存过期后重新加载一遍全量缓存。

Batch的源表和结果表省略

视图view

视图仅仅用于辅助计算逻辑的描述,不会产生数据的物理存储。视图是一种方便的方法,可以通过提供这些片段名称将SQL转换成可管理的视图块。因此,视图并不占用系统空间。

所以视图相当好用啊,很多代码都会用一堆view。

函数就不多说了

DML

Data Manipulation Language数据操纵语言,这个可说的不多,我认为重要的就一个insert,知道这个代码也都可以看懂了。

语法格式:

INSERT INTO tableName
      [ (columnName[ , columnName]*) ]
          queryStatement;

举例:

INSERT INTO LargeOrders
SELECT * FROM Orders WHERE units > 1000;
INSERT INTO Orders(z, v)
SELECT c,d FROM OO;

Insert into

流计算不支持单独的select 查询,必须有CREATE VIEW 或者是在 INSERT INTO内才能操作。


目录
相关文章
|
6月前
|
SQL 关系型数据库 MySQL
数据库开发之SQL简介以及DDL的详细解析
数据库开发之SQL简介以及DDL的详细解析
86 0
|
3月前
|
SQL 关系型数据库 数据库
|
5月前
|
SQL 关系型数据库 API
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】(1)
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】(1)
|
5月前
|
SQL 数据库
零基础学习数据库SQL语句之操作表中数据的DML语句
零基础学习数据库SQL语句之操作表中数据的DML语句
55 0
零基础学习数据库SQL语句之操作表中数据的DML语句
|
5月前
|
SQL 流计算
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】(4)
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】
|
5月前
|
SQL Java 流计算
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】(3)
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】
|
5月前
|
SQL 消息中间件 存储
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】(2)
Flink(十三)【Flink SQL(上)SqlClient、DDL、查询】
|
5月前
|
SQL 关系型数据库 MySQL
MySQL数据库——图形化界面工具(DataGrip),SQL(2)-DML(插入、修改和删除数据)
MySQL数据库——图形化界面工具(DataGrip),SQL(2)-DML(插入、修改和删除数据)
521 1
|
5月前
|
SQL 存储 关系型数据库
MySQL数据库——SQL(1)-SQL通用语法、SQL分类、DDL(数据库操作、表操作)
MySQL数据库——SQL(1)-SQL通用语法、SQL分类、DDL(数据库操作、表操作)
47 1
|
5月前
|
SQL 关系型数据库 MySQL
零基础学习数据库SQL语句之定义数据库对象的DDL语句
零基础学习数据库SQL语句之定义数据库对象的DDL语句
52 0

热门文章

最新文章