滚动窗口(TUMBLE)将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小,并且不会出现重叠。
例如:如果指定了一个5分钟大小的滚动窗口,无限流的数据会根据时间划分成[0:00 - 0:05), [0:05, 0:10), [0:10, 0:15),… 等窗口。如下图,展示了一个大小划分为30秒的滚动窗口。
语法
TUMBLE函数用在GROUP BY子句中,用来定义滚动窗口。
TUMBLE(<time-attr>, <size-interval>)
<size-interval>: INTERVAL 'string' timeUnit
<time-attr>
参数必须是流中的一个合法的时间属性字段,指定 processing time 或是 event time。
您可以参考 时间属性章节,了解如何定义时间属性和watermark。
标识函数
使用标识函数选出窗口的起始时间或者结束时间,窗口的时间属性用于下级window的聚合。
窗口标识函数 | 返回类型 | 描述 |
---|---|---|
TUMBLE_START(time-attr, size-interval) | Timestamp | 返回窗口的起始时间(包含边界)。如[00:10, 00:15) 的窗口,返回 00:10 。 |
TUMBLE_END(time-attr, size-interval) | Timestamp | 返回窗口的结束时间(包含边界)。如[00:00, 00:15] 的窗口,返回 00:15。 |
TUMBLE_ROWTIME(time-attr, size-interval) | Timestamp(rowtime-attr) | 返回窗口的结束时间(不包含边界)。如 [00:00, 00:15] 的窗口,返回 00:14:59.999 。返回值是一个 rowtime attribute,即可以基于该字段做时间类型的操作,如级联窗口。 |
案例
统计每个用户每分钟的点击次数。
CREATE TABLE user_clicks(
username varchar,
click_url varchar,
ts timeStamp,
WATERMARK wk FOR ts as withOffset(ts, 2000) -- 为rowtime定义watermark
) with (
type='datahub',
...
);
CREATE TABLE tumble_output(
window_start TIMESTAMP,
window_end TIMESTAMP,
username VARCHAR,
clicks BIGINT
) with (
type='RDS'
);
INSERT INTO tumble_output
SELECT
TUMBLE_START(ts, INTERVAL '1' MINUTE),
TUMBLE_END(ts, INTERVAL '1' MINUTE),
username,
COUNT(click_url)
FROM window_input
GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username
测试数据
username (VARCHAR) | click_url (VARCHAR) | ts (TIMESTAMP) |
---|---|---|
Jark | http://taobao.com/xxx | 2017-10-10 10:00:00.0 |
Jark | http://taobao.com/xxx | 2017-10-10 10:00:10.0 |
Jark | http://taobao.com/xxx | 2017-10-10 10:00:49.0 |
Jark | http://taobao.com/xxx | 2017-10-10 10:01:05.0 |
Jark | http://taobao.com/xxx | 2017-10-10 10:01:58.0 |
Timo | http://taobao.com/xxx | 2017-10-10 10:02:10.0 |
测试结果
window_start (TIMESTAMP) | window_end (TIMESTAMP) | username (VARCHAR) | clicks (BIGINT) |
---|---|---|---|
2017-10-10 10:00:00.0 | 2017-10-10 10:01:00.0 | Jark | 3 |
2017-10-10 10:01:00.0 | 2017-10-10 10:02:00.0 | Jark | 2 |
2017-10-10 10:02:00.0 | 2017-10-10 10:03:00.0 | Timo | 1 |
本文转自实时计算——
滚动窗口