Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
本文提供一种相对Sidecar部署更轻量级的采集方式，只需要部署少量的Logtail容器，即可采集不同业务容器的日志。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
本文介绍了AutoMQ基于Regional ESSD构建的十倍降本云原生，降低成本并提供无限容量，通过将存储层分离，使用ESSD作为WAL，OSS作为主存储，实现了成本降低和性能优化。此外，它利用弹性伸缩和抢占式实例，减少了70%的计算成本，并通过秒级分区迁移实现了高效弹性。而且，AutoMQ与Apache Kafka相比，能实现10倍成本优化和百倍弹性效率提升，且完全兼容Kafka API。
