LC3视角:Kubernetes下日志采集、存储与处理技术实践
在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势;日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。
开源技术精粹:深入解析阿里消息中间件RocketMQ
不久前,阿里宣布将开源RocketMQ 捐赠给 Apache 基金会,成为 Apache 孵化项目。想深入了解RocketMQ特性?想知道捐赠背后那些鲜为人知的故事?想看看业界主流MQ的性能对比?想知道商用版和开源版如何协同?云栖社区特别专题带你一睹详情。
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个Kafka做消息队列罢了。
kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。
日志收集之kafka篇
日志收集
日志收集包括服务器日志收集和埋码日志收集两种。
服务器日志主要是nginx、tomcat等产生的访问和业务日志。
埋码收集主要是某些服务器无法收集,需要在前端进行收集的数据。
收集流程
日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解
Kafka C++客户端库librdkafka笔记
目录
目录 1
1. 前言 2
2. 缩略语 2
3. 配置和主题 3
3.1. 配置和主题结构 3
3.1.1. Conf 3
3.1.2. ConfImpl 3
3.1.3. Topic 3
3.