JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个Kafka做消息队列罢了。
kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。
日志收集之kafka篇
日志收集
日志收集包括服务器日志收集和埋码日志收集两种。
服务器日志主要是nginx、tomcat等产生的访问和业务日志。
埋码收集主要是某些服务器无法收集,需要在前端进行收集的数据。
收集流程
日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解
Kafka C++客户端库librdkafka笔记
目录
目录 1
1. 前言 2
2. 缩略语 2
3. 配置和主题 3
3.1. 配置和主题结构 3
3.1.1. Conf 3
3.1.2. ConfImpl 3
3.1.3. Topic 3
3.
Apache Flink 的迁移之路,2 年处理效果提升 5 倍
在 2017 年上半年以前,TalkingData 的 App Analytics 和 Game Analytics 两个产品,流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度,对于不同的任务只需要实现一个 changer 链即可,并且支持水平扩展,性能尚可,曾经可以满足业务需求。