阿里云流计算中维表join VS 流join-阿里云开发者社区

开发者社区> 梁程> 正文

阿里云流计算中维表join VS 流join

简介:
+关注继续查看

最近业务上使用blink进行清洗数据,使用到了双流join和维表join,今天有同学问我流join和维表join有什么区别。在此我做个简单的说明,描述不对的地方,欢迎大家纠正,后面补充。

流式计算过程中常见的需求是为数据流去补充字段。我们需要补充字段通常会在另一个流中,或者在一个动态表中(一张不断变化的表,静态表可以理解为它的特例)。在另一个流中,这个比较适合于使用流join,例于补齐包裹表中的包裹明细信息。在一个静态表中,使用维表join要更好些,例如包裹明细关联商品明细表去得到商品体积和重量。

流join

流join比较简单,它是两个流之间的join,和传统批上join一样,都是两张表之间的join(table a join table b on a.x=b.x)。具体如何流join语法,这里不做细说,可以查看官方文档。这里主要从下面几个问题进行说明。

1、我们在对A 和 B 进行join时,经常会有这样的疑惑。如果A中的数据先到达,B中的数据后到达,会不会形成堵塞,不会的话又是怎样操作的?
这个是不会的,在对A进行JOIN B时,如果B中的数据没有达到,会先把A中的数据保存到checkpoint中去,等待B到达时再进行join。这里需要注意下的是,采用A LEFT JOIN B的话,虽然B没有达到,但是他还是会把结果传递到下一个节点。

2、流中的撤回是如何实现的?是不是所有场景都可以
撤回(retraction)可以理解成传统意义上的更新操作。可以看下面的例子
image

没有撤回会导致结果不正确。在数据源入口处增加last_value操作就可以实现撤回。

create view table_count as
SELECT 
word,
count(num) AS cnt 
FROM table by word

create view table_lastValue as 
SELECT
word,
last_value(cnt) as cnt
FROM table_count
GROUP BY word;

把上面图片中的SQL改成这样就行了。

SELECT
cnt,
count(word) as freq
FROM table_lastValue 
GROUP BY cnt 

image
注意: 如果采用的是metaq,并且已经消费了消息,这种情况下是没办法进行撤回的。

维表join

由于维表是一个不断变化的表,如果用传统的join是肯定不行的,因为我们不知道是join的哪一时刻。所以维表join在使用时要指定下的它的join时刻。详细的语法可以查看下官方文档。这里主要阐述下几个注意事项。

1、使用 JOIN 当前维表功能需要注意的是,JOIN行为只发生在处理的时刻(processing time),即使维表中的数据都被删了或者修改,之前JOIN流已经发出的关联上的数据也不会被撤回或改变。
2、维表JOIN的ON条件中一定要包括维表primary key的等值条件,因为需要根据key去查维表
3、在使用维表join时,如果数据量超过百万时,要使用LRU进行缓存,不要使用ALL。

此文章转载于智谨的原创!

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《Kafka Stream》调研:一种轻量级流计算模式
流计算,已经有Storm、Spark,Samza,包括最近新起的Flink,Kafka为什么再自己做一套流计算呢?Kafka Stream 与这些框架比有什么优势?Samza、Consumer Group已经包装了Kafka轻量级的消费功能,难道不够吗? 花了一些时间阅读[docs](http
23850 0
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口
2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口
3099 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4539 0
[译]以PostgreSQL为例,谈join计算的代价
join计算的代价很高吗? 看情况 join的代价依赖于join的条件,索引是什么样,依赖于表有多大,相关信息是否已经cache住了,使用的什么硬件,配置参数的信息,统计信息是否已经更新,同时是否还有其他运行的计算…… 晕了?别急!在以下情景下,我们依然可以找到一些规律来分析判断: 随着join的表的数量增加 随着这些表的行数的增加 有没有索引 此类情况,在工作中经常会碰到,比如:如果有一张产品表 product,但业务上需要加入一个产品的状态,包括Active、Discontinued、Recalled等。
651 0
流计算框架 Flink 与 Storm 的性能对比
分布式实时计算框架 Flink 与 Storm 进行性能对比,为实时计算平台和业务提供数据参考。
1189 0
+关注
9
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载