阿里云大模型高级工程师ACP认证
阿里云大数据分析师认证(ACP)
暂无个人介绍
提交了问题
2018-10-26
提交了问题
2018-10-18
TopN 是统计报表和大屏非常常见的功能,主要用来实时计算排行榜。流式的 TopN 不同于批处理的 TopN,它的特点是持续的在内存中按照某个统计指标(如出现次数)计算 TopN 排行榜,然后当排行榜发生变化时,发出更新后的排行榜。
Flink SQL 是于2017年7月开始面向集团开放流计算服务的。虽然是一个非常年轻的产品,但是到双11期间已经支撑了数千个作业,在双11期间,Blink 作业的处理峰值达到了5+亿每秒,而其中仅 Flink SQL 作业的处理总峰值就达到了3亿/秒。
Connector 是连接外部数据和blink计算框架的桥梁,也是流计算的入口和出口。目前,blink支持了集团内部绝大多数的上下游(如下图),详细的接入方法可以见官方文档,本文主要阐述connector设计和使用上需要注意的问题。
通俗讲retract就是传统数据里面的更新操作,也就是说retract是流式计算场景下对数据更新的处理方式。
去重逻辑在业务处理中使用广泛,大致可以分两类:DISTINCT去重和FIRST_VALUE主键去重,两者的区别是DISTINCT去重是对整行数据进行去重,比如tt里面数据可能会有重复,我们要去掉重复的数据;FIRST_VALUE是根据主键进行去重,可以看成是一种业务层面的去重,但是真实的业务场景使用也很普遍,比如一个用户有多次点击,业务上只需要取第一条。
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
在Blink的流式任务中,State相关的操作通常都会成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能,大幅降低了State操作的开销,在今年的双11中,几乎所有适用的任务都启用了MiniBatch功能。
我们提出了Dataflow模型,并详细地阐述了它的语义,设计的核心原则,以及在实践开发过程中对模型的检验。
发表了文章
2023-04-20
发表了文章
2023-04-18
发表了文章
2023-04-17
发表了文章
2023-04-13
发表了文章
2023-04-13
发表了文章
2023-04-11
发表了文章
2023-04-10
发表了文章
2023-04-06
发表了文章
2023-04-06
发表了文章
2023-04-04
发表了文章
2023-04-03
发表了文章
2023-03-30
发表了文章
2023-03-29
发表了文章
2023-03-29
发表了文章
2023-03-28
发表了文章
2023-03-27
发表了文章
2023-03-24
发表了文章
2023-03-23
发表了文章
2023-03-22
发表了文章
2023-03-21
回答了问题
2022-01-06
提交了问题
2021-12-29
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2021-12-28
提交了问题
2018-10-26
回答了问题
2019-07-17
提交了问题
2018-10-18
回答了问题
2019-07-17
回答了问题
2019-07-17
回答了问题
2019-07-17