离线数据同步变迁
本文介绍了从第一代基于Hadoop体系的离线数据同步，到第二代基于DolphinScheduler和StarRocks的改进方案，再到第三代基于Python自定义的离线数据同步的演变过程。每一代方案都在不断优化，以适应日益增长的数据量和复杂的业务需求。
go高并发之路——消息中间件kafka
本文介绍了高并发业务中的流量高峰应对措施，重点讲解了Kafka消息中间件的使用，包括常用的Go语言库sarama及其版本问题，以及Kafka的版本选择建议。文中还详细解释了Kafka生产者的四种分区策略：轮询、随机、按Key和指定分区，并提供了相应的代码示例。
实时数仓Kappa架构：从入门到实战
【11月更文挑战第24天】随着大数据技术的不断发展，企业对实时数据处理和分析的需求日益增长。实时数仓（Real-Time Data Warehouse, RTDW）应运而生，其中Kappa架构作为一种简化的数据处理架构，通过统一的流处理框架，解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理，并详细介绍如何使用Java语言快速搭建一套实时数仓。
使用Kafka? 有什么好处 ?
选择Kafka作为中间件，因其高吞吐量适合处理大量用户行为数据，支持实时推荐和运营看板展示。Kafka优点包括提升吞吐量、故障隔离、低耦合度和流量削峰，但也增加了架构复杂性和对Broker的依赖。
