[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念
ODS 全称是 Operational Data Store**，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。
开源埋点用户行为分析方案-ClickLog埋点（ClkLog）
ClkLog 是一款记录用户行为分析和画像的免费可商用开源软件，技术人员可快速搭建私有的应用系统。项目基于神策分析SDK，采用ClickHouse数据库对采集数据进行存储，采用前后端分离的方式来实现的访问统计和用户画像分析系统。在这里，你可以轻松看到用户访问网页、APP、小程序或业务系统的行为轨迹，同时也可以从时间、地域、渠道、用户访客类型等多维度了解用户的全方位信息，完美助力大数据用户画像、实时归因/离线归因分析、漏斗分析、大数据推荐场景。
深入解析 Kafka Exactly Once 语义设计 & 实现
本篇文章主要介绍 Kafka 如何在流计算场景下保证端到端的 Exactly Once 语义，通过其架构上的设计以及源码分析帮助读者理解背后的实现原理。什么是 Exactly-Once?消息的投递语义主要分为三种：At Most Once: 消息投递至多一次，可能会丢但不会出现重复。At Least Once: 消息投递至少一次，可能会出现重复但不会丢。Exactly Once: 消息投递正好一次
MQ四兄弟：如何保证消息顺序性
在分布式系统中，消息队列（MQ）是确保组件间高效通信的关键。RabbitMQ、RocketMQ、Kafka和Pulsar通过不同机制保证消息顺序性：RabbitMQ依赖单一队列和消费者模式；RocketMQ使用MessageQueueSelector；Kafka基于Partition和Key；Pulsar通过分区主题和键路由。这些系统的核心思想是将相同特征的消息发送到同一队列或分区，并按先进先出原则消费，从而确保消息顺序性。