大数据中的ETL过程详解
【8月更文挑战第25天】ETL过程在大数据中扮演着至关重要的角色。通过合理设计和优化ETL过程，企业可以高效地整合和利用海量数据资源，为数据分析和决策提供坚实的基础。同时，随着技术的不断进步和发展，ETL过程也将不断演进和创新，以更好地满足企业的数据需求。
字节跳动基于 Flink 的 MQ-Hive 实时数据集成
在数据中台建设过程中，一个典型的数据集成场景是将 MQ (Message Queue，例如 Kafka、RocketMQ 等)的数据导入到 Hive 中，以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层，因此对数据的准确性以及实时性要求比较高。
基于dataX实现多种数据源数据汇聚(一)
在数据中台项目实践过程中，经常需要获取多个部门、多个系统的数据，此时面临多种多样的数据库，如何快速稳定的获取数据，并持续归集到数据中台的数据仓库中，是每个数据中台项目必须解决的问题。本文介绍了我在项目实践过程中，基于dataX实现数据汇聚的一些使用心得，在此和大家分享，希望有所帮助。
基于dataX实现多种数据源数据汇聚(二)
上一篇文章提到在数据中台项目实践过程中，基于dataX实现数据汇聚的一些使用心得，在众多项目中，发现一个趋势，国产数据库的发展趋势，越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下：
1、达梦
2、人大金仓（后续补充）
3、南大通用（后续补充）
EMQX + PolarDB-X 一站式 IoT 数据解决方案
本文整理自 EMQX 产品经理李国伟，在PolarDB开源社区中关于EMQX与PolarDB-X构建一站式IoT数据解决方案的分享。本篇内容主要分为四个部分：1. IoT数据特性 2. EMQX介绍 3. EMQX与PolarDB-X集成 4. EMQX+PolarDB-X方案DEMO。
