apache kafka系列之在zookeeper中存储结构
apache kafka中国社区QQ群:162272557
1.topic注册信息
/brokers/topics/[topic] :
存储某个topic的partitions所有分配信息
Schema:
{
"version": "版本编号目前固定为数字1",
"partitions": {
flume 单机问题解决与架构更改
[TOC]
引言
今天针对线上生产环境下单机 flume 拉取kafka数据并存储数据入Hdfs 出现大批量数据延迟. 在网上官网各种搜索数据，并结合官网数据，现进行以下总结
1. 线上单机存在问题简述
当前flume拉取kafa数据量并不大 ，根据flume客户端日志 ，每半分钟hdfs文件写入一次数据生成文件 发现问题:
**拉取kafka数据过慢**
2.
一文看懂 K8s 日志系统设计和实践
上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点，相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。
高并发架构系列：详解分布式一致性ACID、CAP、BASE及区别
在面试环节，经常会问CAP、BASE等相关的分布式理论，其实这些名词主要还是来自于分布式的一致性，今天主要介绍分布式一致性：强一致性、最终一致性、ACID、CAP等理论。
分布式一致性的背景
随着分布式事务的出现，传统的单机事务模型（ACID）已经无法胜任，尤其是对于一个高访问量、高并发的互联网分布式系统来说。