深入了解 Flink 网络栈(二):监控、指标和处理背压
在之前的文章中,我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章,本文将在第一篇的基础上更进一步,主要探讨如何监视与网络相关的指标,从而识别背压等因素带来的影响,或找出吞吐量和延迟的瓶颈所在。
运维场景下的实时计算应用
案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总
运维场景主要有下面几个需求:
整体系统运行指标计算与可视化,可参考:数据仓库介绍与实时数仓案例
问题排查与全链路DEBUG,可参考:【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题、【阿里内部应用】基于Bli.
阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点
笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据应用开发(写 MapReduce Job 做 ETL ,用 Hive 做 Ad hocquery,用 Tableau 做数据可视化,用 R 做数据分析)。
KubeCon: Flink on K8s
目录
集群概况
BigData Manager简介
BigData on Kubernetes
部署过程
运维
Twinkle(开发者IDE)
玩转Flink on Kubernetes
WindowJoin
简介
Example illustrating a windowed stream join between two data streams.
双11数据大屏背后的秘密:大规模流式增量计算及应用
回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享,钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。
四年打磨,全新公测ARMS终极进化:业务监控实时无边界
8月9日2016云栖大会北京峰会拉开帷幕,阿里中间件高级产品专家伏羿带来了“业务实时监控服务ARMS——‘察’无边界”的重要演讲。其中谈及了ARMS的诞生背景,也介绍了ARMS的雏形,着重说明了全新公测的ARMS业务实时监控服务,最后和大家分享了ARMS的五个应用场景并做了ARMS的特点总结。精彩不