JStorm,让大规模流处理成为可能
本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。
Jstorm到Flink 在今日头条的迁移实践
作者r:张光辉
导读t:本文将为大家展示字节跳动公司怎么把Storm从J storm迁移到Flink的整个过程以及后续的计划。你可以借此了解字节跳动公司引入Flink的背景以及Flink集群的构建过程。字节跳动公司是如何兼容以前的Jstorm作业以及基于Flink做一个任务管理平台的呢?本文将一一为你揭开这些神秘的面纱。
本文内容如下:
- 引入Flink的背景
- Flink集群
Jstorm到Flink在今日头条的迁移实践
本文内容如下:
引入Flink的背景
Flink集群的构建过程
构建流式管理平台
引入Flink的背景#
下面这幅图展示的是字节跳动公司的业务场景
首先,应用层有广告,也有AB测,也有推送和数据仓库的一些业务。
Jstorm 调度硬件资源cgroups
cgroups是control groups的缩写,是Linux内核提供的一种可以限制, 记录, 隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO 等等)的机制。
阿里 10 年:一个普通技术人的成长之路
不管是什么角色,成长是我们每个人都必须经历的过程。作为一个技术人,成长不仅是技术上的不断精进,也包括日常工作中的方方面面。本文主要讲述了阿里巴巴高级技术专家在阿里 10 年的成长之路,分享他从一个普通技术人开始,在阿里的三个阶段,以及在晋升、转岗、带团队、做事等方面的心得感悟。