使用 Kafka 和 Flink 构建实时数据处理系统
引言
在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据产生快,实时性强,数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需要。流计算的出现,就是为了更好地解决这类数据在处理过程中遇到的问题。
java logstash 如何保证数据不丢失
用过ruby 版本 的logstash 大家都知道,在input 数据消费进来之后,output数据要是失败了,就会扔掉,这个对数据要求较高的应用中是很难接受的。
举一个列,input kafka,output elasticsearch,在消费kafka数据到内存队
Rocketmq原理简介
一、 MQ背景&选型
消息队列作为高并发系统的核心组件之一,能够帮助业务系统解构提升开发效率和系统稳定性。主要具有以下优势:
削峰填谷(主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题)
系统解耦(解决不同重要程度、不同能力级别系统之间...
基于 Ansible 的 ELK 部署说明
ELK-Ansible使用手册
ELK-Ansible 是基于 Ansible 的 Playbooks 研发的 ELK集群部署工具。本文将介绍如何使用 ELK-Ansible 快速部署 ELK 集群。