Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
1.大数据处理的常用方法
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：
在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。
如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Flink进行处理。比较贴切的一个例子是天猫...
查看全文 >>
Redis Cluster 生产实践整理
1、最佳实践
1.1 做好容错机制
连接或者请求异常，进行连接retry和reconnect。
做存储使用的 Redis systemd 去掉 Auto Restart 配置，避免Master加载空dump.rdb，replicate到Slave，刷掉Slave数据。
重试时间应该大于cluster-node-time时间
还是强调容错，这个不是针对cluster，所有的应用设计都适用。
1...
查看全文 >>
Flume日志收集分层架构应用实践
Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：
模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink
组合式设计：可以在Flume Agent中根据业务需要组合Source、Channel、Sink三种组件，构建相对复杂的日志流管道
插件式...
查看全文 >>
SLA 99.99%以上！饿了么实时计算平台3年演进历程
一、背景
饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时 Infra 和平台工具开发，其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外分享的比较多。
今天主要给大家讲讲饿了么在实时计算平台方面的一些演进经验，整个实时平台也是经历了从无到有→快速发展→平台化的阶段，每个阶段都...
查看全文 >>
Flume定制实战——日志平台架构解析
flume是我2015年为前公司主导开发【统一日志平台】时采用的技术(主要技术栈：flume+ES+Redis+mongoBD+Kafka+Hadoop+Netty )，期间也积累了不少经验（挖坑、踩坑、填坑）。
在我离开前，我们的日志平台数据量为8亿/天，高峰为8500万/小时、800万/5分钟。 flume agent单机压测15000/s数据量，未出现程序异常、资源占用过高与日志明显丢...
查看全文 >>
基于TableStore/MaxCompute的数据采集分析系统介绍
摘要
在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。今天我们来介绍一下基于阿里云表格存储，以及相关的大数据产品来采集与分析数据的方案。
TableS...
查看全文 >>
基于TableStore的数据采集分析系统介绍
摘要
在互联网高度发达的今天，ipad、手机等智能终端设备随处可见，运行在其中的APP、网站也非常多，如何采集终端数据进行分析，提升软件的品质非常重要，例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单，但是数据量大，对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求，搭建起来并不容易。今天我们来介绍一下基于阿里云表格存储，以及相关的大数据产品来采集与分析数据的方案。
TableS...
查看全文 >>
从 Storm 到 Flink，汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
作者：王刚、刘首维
在 2019 年之前，之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎，凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性，俘获了大批用户。下图是实时计算团队 Storm 平台页面：
自 2015 年至今 Storm 在之家已经运行 4 年之久，但随着实时计算的需求日渐增多，数据规模逐步增大，Storm 在开发及维护...
查看全文 >>
logstash_output_kafka:Mysql同步Kafka深入详解
0、题记
实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。
而mysql写入kafka的选型方案有：方案一：logstash_output_kafka 插件。方案二：kafka_connector。方案三：debezium 插件。方案四：flume。方案五：其他类似方案。
其中：debezium和flume是基于mysql...
查看全文 >>
MaxCompute（原ODPS）开发入门指南——数据上云篇
MaxCompute（原ODPS）开发入门指南——数据上云篇
写在最前面
>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.
根据《MaxCompute（原ODPS）开发入门指南——计量计费篇》的了解，大家清楚了MaxCompute可以做什么，计费模式如何，想必大家也开通了MaxCompute想进行一次POC，但是大家遇到第一个问题一定是...
查看全文 >>
