滚动窗口

简介:

滚动窗口(TUMBLE)将每个元素分配到一个指定大小的窗口中。通常滚动窗口有一个固定的大小,并且不会出现重叠。
例如:如果指定了一个5分钟大小的滚动窗口,无限流的数据会根据时间划分成[0:00 - 0:05), [0:05, 0:10), [0:10, 0:15),… 等窗口。如下图,展示了一个大小划分为30秒的滚动窗口。

滚动窗口

语法

TUMBLE函数用在GROUP BY子句中,用来定义滚动窗口。


   
   
  1. TUMBLE(<time-attr>, <size-interval>)
  2. <size-interval>: INTERVAL 'string' timeUnit

<time-attr> 参数必须是流中的一个合法的时间属性字段,指定 processing time 或是 event time。
您可以参考 时间属性章节,了解如何定义时间属性和watermark。

标识函数

使用标识函数选出窗口的起始时间或者结束时间,窗口的时间属性用于下级window的聚合。

窗口标识函数 返回类型 描述
TUMBLE_START(time-attr, size-interval) Timestamp 返回窗口的起始时间(包含边界)。如[00:10, 00:15) 的窗口,返回 00:10 。
TUMBLE_END(time-attr, size-interval) Timestamp 返回窗口的结束时间(包含边界)。如[00:00, 00:15] 的窗口,返回 00:15。
TUMBLE_ROWTIME(time-attr, size-interval) Timestamp(rowtime-attr) 返回窗口的结束时间(不包含边界)。如 [00:00, 00:15] 的窗口,返回 00:14:59.999 。返回值是一个 rowtime attribute,即可以基于该字段做时间类型的操作,如级联窗口。

案例

统计每个用户每分钟的点击次数。


   
   
  1. CREATE TABLE user_clicks(
  2. username varchar,
  3. click_url varchar,
  4. ts timeStamp,
  5. WATERMARK wk FOR ts as withOffset(ts, 2000) -- rowtime定义watermark
  6. ) with (
  7. type='datahub',
  8. ...
  9. );
  10. CREATE TABLE tumble_output(
  11. window_start TIMESTAMP,
  12. window_end TIMESTAMP,
  13. username VARCHAR,
  14. clicks BIGINT
  15. ) with (
  16. type='RDS'
  17. );
  18. INSERT INTO tumble_output
  19. SELECT
  20. TUMBLE_START(ts, INTERVAL '1' MINUTE),
  21. TUMBLE_END(ts, INTERVAL '1' MINUTE),
  22. username,
  23. COUNT(click_url)
  24. FROM window_input
  25. GROUP BY TUMBLE(ts, INTERVAL '1' MINUTE), username

测试数据

username (VARCHAR) click_url (VARCHAR) ts (TIMESTAMP)
Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
Timo http://taobao.com/xxx 2017-10-10 10:02:10.0

测试结果

window_start (TIMESTAMP) window_end (TIMESTAMP) username (VARCHAR) clicks (BIGINT)
2017-10-10 10:00:00.0 2017-10-10 10:01:00.0 Jark 3
2017-10-10 10:01:00.0 2017-10-10 10:02:00.0 Jark 2
2017-10-10 10:02:00.0 2017-10-10 10:03:00.0 Timo 1
本文转自实时计算—— 滚动窗口
相关文章
|
编解码
【PyAutoGUI操作指南】02 鼠标控制功能+获取当前坐标+鼠标事件+鼠标滚动查询
左上角的像素位于坐标0,0。如果屏幕分辨率为1920 x 1080,则右下角的像素将为1919,1079(因为坐标从0开始,而不是1)。
527 0
C#创建无边框可拖动窗口
C#创建无边框可拖动窗口
199 0
|
C++ Windows
2.1 窗口和控件
2.1 窗口和控件
2.1 窗口和控件
|
小程序
小程序隐藏滚动条但还能继续滚动
小程序隐藏滚动条但还能继续滚动
155 0
|
Java
swing中一些常见的鼠标事件(鼠标形状的改变、鼠标接近、按下(图标的切换)、鼠标接近、离开(字体颜色的改变)、鼠标拖拽等)还有系统托盘+对话框
swing中一些常见的鼠标事件(鼠标形状的改变、鼠标接近、按下(图标的切换)、鼠标接近、离开(字体颜色的改变)、鼠标拖拽等)还有系统托盘+对话框
482 0
swing中一些常见的鼠标事件(鼠标形状的改变、鼠标接近、按下(图标的切换)、鼠标接近、离开(字体颜色的改变)、鼠标拖拽等)还有系统托盘+对话框
|
C++
201403-2 窗口
201403-2 窗口
82 0
201403-2 窗口
|
SQL 测试技术 流计算