当系统出现大量或者重大的错误却不被人感知，将会对业务产生影响，从而导致资产损失。当竞争对手实施了新战术，却无法及时感知，跟不上竞争对手的节奏，总是追着对方尾巴走。当要做决策的时候，海量的业务数据增长却无法实时看到聚合结果，决策总是凭借过往经验或者过时的数据分析之上。
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
实时数据大屏是实时计算的重要应用场景之一，广泛应用在电商业务中，用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标，帮助业务人员随时了解业务的实时状态，快速发现问题和机会。同时，通过数据可视化和趋势分析，大屏也提供了决策支持和优化运营的功能，帮助业务人员做出及时的决策和调整策略，优化电商业务的运营效果。 下面以电商业务为背景，介绍如何构建经典实时数仓，实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转，基于Dataphin和Quick BI实现实时数据大屏。
日志数据格式可能是多样且复杂的，iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持，在日志处理场景下，可以通过多级管道对数据进行交互式、递进式的探索和处理，从配置交互和性能上，都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中，欢迎大家体验和使用。
