滑动窗口

简介:

滑动窗口(HOP),也被称作 Sliding Window。不同于滚动窗口,滑动窗口的窗口可以重叠。滑动窗口有两个参数:size 和slide。size为窗口的大小,slide为每次滑动的步长。如果slide < size,则窗口会重叠,每个元素会被分配到多个窗口。如果 slide = size,则等同于滚动窗口(TUMBLE)。如果 slide > size,则为跳跃窗口,窗口之间不重叠且有间隙。
通常情况下大部分元素符合多个窗口情景,窗口是重叠的。因此,滑动窗口在计算移动平均数(moving averages)时很实用。例如,计算过去5分钟数据的平均值,每10秒钟更新一次,可以设置size=5分钟slide=10秒钟。
下图展示了一个窗口大小为1分钟,间隔为30秒的滑动窗口。

滑窗

语法

HOP函数用于在GROUP BY子句中定义滑动窗口。


   
   
  1. HOP(<time-attr>, <slide-interval>, <size-interval>)
  2. <slide-interval>: INTERVAL 'string' timeUnit
  3. <size-interval>: INTERVAL 'string' timeUnit

参数必须是流中的一个合法的时间属性字段,即指定了processing time或是event time。

您可以参考时间属性章节了解如何定义时间属性和watermark。

标识函数

使用标识函数选出窗口的起始时间或者结束时间,窗口的时间属性用于下级 window 的聚合。

窗口标识函数 返回类型 描述
HOP_START(time-attr, size-interval) Timestamp 返回窗口的起始时间(包含边界)。如[00:10, 00:15) 的窗口,返回00:10
HOP_END(time-attr, size-interval) Timestamp 返回窗口的结束时间(包含边界)。如[00:00, 00:15] 的窗口,返回00:15
HOP_ROWTIME(time-attr, size-interval) Timestamp(rowtime-attr) 返回窗口的结束时间(不包含边界)。如 [00:00, 00:15]的窗口,返回00:14:59.999。返回值是一个rowtime attribute,所以可以基于该字段做时间类型的操作,如级联窗口。

案例

统计每个用户过去1分钟的点击次数,每30秒更新一次。即一分钟的窗口,30秒滑动一次。


   
   
  1. CREATE TABLE user_clicks(
  2. username varchar,
  3. click_url varchar,
  4. ts timeStamp,
  5. WATERMARK wk FOR ts as withOffset(ts, 2000) -- rowtime 定义watermark
  6. ) with (
  7. type='datahub',
  8. ...
  9. );
  10. CREATE TABLE tumble_output(
  11. window_start TIMESTAMP,
  12. window_end TIMESTAMP,
  13. username VARCHAR,
  14. clicks BIGINT
  15. ) with (
  16. type='rds'
  17. );
  18. INSERT INTO tumble_output
  19. SELECT
  20. HOP_START(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
  21. HOP_END(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE),
  22. username,
  23. COUNT(click_url)
  24. FROM window_input
  25. GROUP BY HOP(ts, INTERVAL '30' SECOND, INTERVAL '1' MINUTE), username

测试数据

username (VARCHAR) click_url (VARCHAR) ts (TIMESTAMP)
Jark http://taobao.com/xxx 2017-10-10 10:00:00.0
Jark http://taobao.com/xxx 2017-10-10 10:00:10.0
Jark http://taobao.com/xxx 2017-10-10 10:00:49.0
Jark http://taobao.com/xxx 2017-10-10 10:01:05.0
Jark http://taobao.com/xxx 2017-10-10 10:01:58.0
Timo http://taobao.com/xxx 2017-10-10 10:02:10.0

测试结果

window_start (TIMESTAMP) window_end (TIMESTAMP) username (VARCHAR) clicks (BIGINT)
2017-10-10 10:00:00.0 2017-10-10 10:01:00.0 Jark 3
2017-10-10 10:00:30.0 2017-10-10 10:01:30.0 Jark 2
2017-10-10 10:01:00.0 2017-10-10 10:02:00.0 Jark 2
2017-10-10 10:01:30.0 2017-10-10 10:02:30.0 Jark 1
2017-10-10 10:01:30.0 2017-10-10 10:02:30.0 Timo 1
2017-10-10 10:02:00.0 2017-10-10 10:03:00.0 Timo 1

本文转自实时计算——滑动窗口

相关文章
|
8月前
|
存储 算法 Java
【算法系列篇】滑动窗口-1
【算法系列篇】滑动窗口-1
|
算法 索引
算法—滑动窗口
滑动窗口算法简介滑动窗口,顾名思义,就是有一个大小可变的窗口,左右两端方向一致的向前滑动(右端固定,左端滑动;左端固定,右端滑动)。可以想象成队列,一端在push元素,另一端在pop元素,如下所示:假设有数组[a b c d e f g h]一个大小为3的滑动窗口在其上滑动,则有:[a b c][b c d][c d e][d e f][e f g][f g h]适用范围1、一般是字符串或...
64 0
|
24天前
|
算法
|
4月前
|
存储 算法 容器
滑动窗口详解
本文介绍了滑动窗口算法及其应用。具体题目有: 1. 长度最小的子数组(LeetCode 209)。 2. 无重复字符的最长子串(LCR 016)。 3. 最大连续 1 的个数 III(LeetCode 1004)。 4. 将 x 减到 0 的最小操作数(LeetCode 1658)。 5. 水果成篮(LeetCode 904)。 6. 找到字符串中所有字母异位词(LeetCode 438)。 7. 串联所有单词的子串(LeetCode 30)。 8. 最小覆盖子串(LeetCode 76)。 每题详细分析了暴力解法及滑动窗口优化方案,附带代码实现。
76 3
滑动窗口详解
11_滑动窗口最大值
11_滑动窗口最大值
|
6月前
|
算法
算法 —— 滑动窗口
算法 —— 滑动窗口
44 2
|
存储 算法 Java
趣味算法:滑动窗口算法的理解与应用
前言 在编程和数据结构中,滑动窗口算法是一种常见的解决问题的方法。它主要用于处理涉及连续或固定长度子数组、子序列或子字符串的问题。本文将深入探讨滑动窗口算法,包括其基本概念、应用场景、基本步骤以及具体的Java代码实践。
631 0
|
8月前
|
算法 索引 容器
滑动窗口(二)
滑动窗口(二)
|
8月前
|
算法
滑动窗口(一)
滑动窗口(一)
|
8月前
|
算法 Java 索引
【算法系列篇】滑动窗口-2
【算法系列篇】滑动窗口-2