阿里封神-大数据处理技术漫谈
以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出现
Flink 原理与实现:Window 机制
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他的亮点包括消息乱序处理,和 checkpoint 机制)。本文我们将介绍流式处理中的窗口概念,介绍 F
Apache Flink 漫谈系列(03) - Watermark
实际问题(乱序)
在介绍Watermark相关内容之前我们先抛出一个具体的问题,在实际的流式计算中数据到来的顺序对计算结果的正确性有至关重要的影响,比如:某数据源中的某些数据由于某种原因(如:网络原因,外部存储自身原因)会有5秒的延时,也就是在实际时间的第1秒产生的数据有可能在第5秒中产生的数据之后到来(比如到Window处理节点).选具体某个delay的元素来说,假设在一个5秒的Tumble窗口(详见Window介绍章节),有一个EventTime是 11秒的数据,在第16秒时候到来了。
广告场景下的实时计算
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总
广告场景的综述,[计算广告与流处理技术综述](https://yq.aliyun.com/articles/691816):
在线流量反作弊、在线计费、在线反馈、在线索引、在线广告链接检测等
其中涉及的主要实时处理环节:
实时数据统计.
如何让双十一数据大屏讲出故事?设计有口诀
大家应该都看过阿里巴巴最近5年每年“双11”的数据大屏,阿里为什么要做数据大屏呢?这样做能给客户带来什么?怎么做阿里这样的大屏幕?2016云栖大会成都峰会上,阿里云数据事业部产品专家永翎给我们解答了这些问题。