为什么要用java重写logstash
写之前，这里先打个广告，java 版本的logstash已经开源，git地址 https://github.com/dtstack。
现在ELK很流行，能快速搭建一套日志采集系统。其实自己一开始就不理解为什么后端日志采集这一层logstash 是用ruby来编写
日志收集之kafka篇
日志收集
日志收集包括服务器日志收集和埋码日志收集两种。
服务器日志主要是nginx、tomcat等产生的访问和业务日志。
埋码收集主要是某些服务器无法收集，需要在前端进行收集的数据。
收集流程
日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解
Apache Flink 的迁移之路，2 年处理效果提升 5 倍
在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。
SpringBoot开发案例之整合Kafka实现消息队列
前言
最近在做一款秒杀的案例，涉及到了同步锁、数据库锁、分布式锁、进程内队列以及分布式消息队列，这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。
Kafka简介
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
【教程】Linux下如何下载与安装Kafka ？
Kafka是java生态圈中的一员，运行在java虚拟机上，按Kafka官方说明，java环境推荐Java8；Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会自带Zookeeper，但是从稳定性考虑，应该使用单独的Zookeeper，而且构建Zookeeper集群。