Flink 原理与实现:如何处理反压问题
流处理系统需要能优雅地处理反压(backpressure)问题。反压通常产生于这样的场景:短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速堆积,或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理,可能会导致资源耗尽甚至系统崩溃。
目前主流的流处理系统 Storm/JStorm/Spark Streami
JStorm,让大规模流处理成为可能
本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。
【云栖大会】开源大数据技术的魅力
在2016杭州云栖大会第四天的“开源大数据技术专场”分会场上,阿里云高级技术专家无谓、阿里云技术专家封神、阿里巴巴中间件技术部高级技术专家天梧、阿里巴巴中间件技术部资深技术专家纪君祥对开源大数据技术的有关方面做了详细介绍。
跨入流式计算时代,用不着洪荒之力——在阿里云容器服务上一键部署JStorm
JStorm是阿里巴巴出品的强大的企业级流式计算引擎,具有使用方便、性能高、生态丰富等优点。
但是,部署JStorm依赖于zookeeper、python、JDK等若干个组件,同时还要配置nimbus、supervisor等角色,部署过程比较长。为了简化这一过程,阿里巴巴JStorm团队和容器
【中间件2】在虚拟机搭建JStrom
一 安装步骤
二 搭建Zookeeper集群
1 ZooKeeper 单机安装与配置
11 下载zookeeper安装包
12 解压zookeeper安装包
13 设置环境变量
14 配置zoocfg
15 启动zookeeper
三 搭建JStorm...
安装JStorm2.1.1
安装zookeeper
参见
http://www.cnblogs.com/ilovexiao/p/3946547.html
不过这篇博客有个问题/datatmp/zookeeper/logs这个文件夹是需要手动新建的
安装python
Centos7本身已经自带了Python2.
Jstorm 集群搭建过程/Jstorm集群一键安装部署
Jstorm 官方搭建使用过程如连接https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85 ,我整理了三个脚本:安装
Jstorm 集群,安装 jstorm_web_ui 监控页面,启动zookeeper、Jstorm集群进行测试。
java-jstorm
jstorm 是阿里巴巴开源的基于storm采用Java重写的一套分布式实时流计算框架,使用简单,特点如下:
开发非常迅速: 接口简单,容易上手,只要遵守Topology,Spout, Bolt的编程规范即可开发出一个扩展性极好的应用,底层rpc,worker之间冗余,数据分流之类的动作完全不用考虑。