LC3视角：Kubernetes下日志采集、存储与处理技术实践
在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下，Kubernetes日志处理上也遇到的新挑战，包括：容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构，介绍了：Logtail客户端在Kubernetes日志采集场景下的优势；日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求；日志服务数据的开放性以及与云产品、开源社区相结合，在实时计算、可视化、采集上为用户提供的丰富选择。
开源技术精粹：深入解析阿里消息中间件RocketMQ
不久前，阿里宣布将开源RocketMQ 捐赠给 Apache 基金会，成为 Apache 孵化项目。想深入了解RocketMQ特性？想知道捐赠背后那些鲜为人知的故事？想看看业界主流MQ的性能对比？想知道商用版和开源版如何协同？云栖社区特别专题带你一睹详情。
为什么要用java重写logstash
写之前，这里先打个广告，java 版本的logstash已经开源，git地址 https://github.com/dtstack。
现在ELK很流行，能快速搭建一套日志采集系统。其实自己一开始就不理解为什么后端日志采集这一层logstash 是用ruby来编写
日志收集之kafka篇
日志收集
日志收集包括服务器日志收集和埋码日志收集两种。
服务器日志主要是nginx、tomcat等产生的访问和业务日志。
埋码收集主要是某些服务器无法收集，需要在前端进行收集的数据。
收集流程
日志处理是指将消息队列用在日志处理中，比如Kafka的应用，解
Apache Flink 的迁移之路，2 年处理效果提升 5 倍
在 2017 年上半年以前，TalkingData 的 App Analytics 和 Game Analytics 两个产品，流式框架使用的是自研的 td-etl-framework。该框架降低了开发流式任务的复杂度，对于不同的任务只需要实现一个 changer 链即可，并且支持水平扩展，性能尚可，曾经可以满足业务需求。