双11数据大屏背后的秘密:大规模流式增量计算及应用
回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享,钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。
探寻流式计算
流计算的出现拓宽了应对复杂实时计算需求能力。Storm作为流计算的利器,极大方便了应用。
【阿里内部应用】利用blink+MQ实现流计算中的超时统计问题
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总
一. 背景介绍
菜鸟的物流数据本身就有链路复杂、实操节点多、汇总维度多、考核逻辑复杂的特点,对于实时数据的计算存在很大挑战。经过仓配ETL团队的努力,目前仓配实时数据已覆盖了绝大多数场景,但是有这样一类特殊指标:“晚点超时指标”(例如:出库超6小时未揽收的订单量),仍存在实时汇总计算困难。
Apache Flink 漫谈系列(13) - Table API 概述
什么是Table API
在《Apache Flink 漫谈系列(08) - SQL概览》中我们概要的向大家介绍了什么是好SQL,SQL和Table API是Apache Flink中的同一层次的API抽象,如下图所示:
Apache Flink 针对不同的用户场景提供了三层用户API,最下层ProcessFunction API可以对State,Timer等复杂机制进行有效的控制,但用户使用的便捷性很弱,也就是说即使很简单统计逻辑,也要较多的代码开发。
EDAS伴侣ARMS终极进化:业务监控实时无边界
摘要: 8月9日2016云栖大会北京峰会拉开帷幕,阿里中间件高级产品专家伏羿带来了“业务实时监控服务ARMS——‘察’无边界”的重要演讲。其中谈及了ARMS的诞生背景,也介绍了ARMS的雏形,着重说明了全新公测的ARMS业务实时监控服务,最后和大家分享了ARMS的五个应用场景并做了ARMS的特点总结
日志服务(原SLS)2017-12 月功能发布
日志服务12月功能已上线,包括美东Region、嵌入式客户端(C-Producer)、Flink Connector、 CLI、API网关打通、告警优化、控制台快速分析等功能,欢迎试用