离线数据同步变迁
本文介绍了从第一代基于Hadoop体系的离线数据同步,到第二代基于DolphinScheduler和StarRocks的改进方案,再到第三代基于Python自定义的离线数据同步的演变过程。每一代方案都在不断优化,以适应日益增长的数据量和复杂的业务需求。
go高并发之路——消息中间件kafka
本文介绍了高并发业务中的流量高峰应对措施,重点讲解了Kafka消息中间件的使用,包括常用的Go语言库sarama及其版本问题,以及Kafka的版本选择建议。文中还详细解释了Kafka生产者的四种分区策略:轮询、随机、按Key和指定分区,并提供了相应的代码示例。
实时数仓Kappa架构:从入门到实战
【11月更文挑战第24天】随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Java语言快速搭建一套实时数仓。
使用Kafka? 有什么好处 ?
选择Kafka作为中间件,因其高吞吐量适合处理大量用户行为数据,支持实时推荐和运营看板展示。Kafka优点包括提升吞吐量、故障隔离、低耦合度和流量削峰,但也增加了架构复杂性和对Broker的依赖。