阿里封神-大数据处理技术漫谈
以前一篇博客，从宏观描述了云梯1当时整体生态，年底了，笔者再梳理下软件栈，主要以开源软件为主，闭源不谈。大数据发展至今，开源软件层出不穷，也去解决了不同的问题，笔者试图去弄清楚这些，分门别类，后面也可以参照下。由于笔者知识面有限，难免会出现一些偏颇，不全，不正确，还请指正。后面也会有很多新的软件出现
海量数据实时计算利器Tec
引子
在刚刚过去的2015年双11大促中，搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击，在流入实时消息量持续超过300w/s，甚至峰值飙升至501w/s的压力下始终保持了端到端秒级实时效果，助力相关的搜索和推荐实时业务取得了很好的效果。
Pora如何能
阿里中间件蒋江伟（小邪）谈RocketMQ开源：感恩社区
昨天，我们将分布式消息中间件RocketMQ捐赠给了开源软件基金会Apache。孵化成功后，RocketMQ或将成为国内首个互联网中间件在Apache上的顶级项目。今天，我们特别邀请到阿里巴巴中间件（Aliware）技术研究员蒋江伟（花名：小邪）跟大家分享一下RocketMQ开源的前世今生。
Flink 原理与实现：Window 机制
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F
流计算风云再起 - PostgreSQL携PipelineDB力挺IoT(物联网), 大幅提升性能和开发效率
标签
PostgreSQL , pipelinedb , 流计算 , patch , bug , libcheck , zeromq , kafka , kinesis , IoT , 物联网
背景
pipelinedb是基于PostgreSQL的一个流式计算数据库，纯C代码，效率极高(3
Pick！闲鱼亿级商品库中的秒级实时选品
作者：闲鱼技术-剑辛
一、业务背景
在电商运营工作中，营销活动是非常重要的部分，对用户增长和GMV都有很大帮助。对电商运营来说，如何从庞大的商品库中筛选出卖家优质商品并推送给有需要的买家购买是每时每刻都要思索的问题，而且这个过程需要尽可能快和实时。
WebIDE 使用指南
背景
为了解决函数计算本地环境差异和配置繁琐的问题，在此背景下，就有了我们的 WebIDE 产品，WebIDE 能让函数的开发、测试和部署更加流畅，进一步降低了函数计算的学习成本和进一步缩短了函数的开发周期。
