Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
2023年10月31日，杭州·云栖大会，阿里云技术主论坛带来了一场关于阿里云主力产品与技术创新的深度解读，阿里云网络产品线负责人祝顺民带来《云智创新，网络随行》的主题发言，针对阿里云飞天洛神云网络（下文简称洛神网络）领域产品服务创新以及背后的技术积累进行了深度解读，不少背后的创新技术系首次重磅披露。
本文介绍通过 AnalyticDB PostgreSQL 版基于实时物化视图，构建流批一体的一站式实时数仓解决方案，实现一套系统、一份数据、一次写入，即可在数仓内完成实时数据源头导入到实时分析全流程。
目前市面上大数据查询分析引擎层出不穷，但在业务使用过程中，大多含有性能瓶颈的SQL，主要集中在数据倾斜与数据膨胀问题中。本文结合业界对大数据SQL的使用与优化，尝试给出相对系统性的解决方案。
本文介绍了AutoMQ基于Regional ESSD构建的十倍降本云原生，降低成本并提供无限容量，通过将存储层分离，使用ESSD作为WAL，OSS作为主存储，实现了成本降低和性能优化。此外，它利用弹性伸缩和抢占式实例，减少了70%的计算成本，并通过秒级分区迁移实现了高效弹性。而且，AutoMQ与Apache Kafka相比，能实现10倍成本优化和百倍弹性效率提升，且完全兼容Kafka API。
本次文根据峰会演讲内容整理：分享在大模型时代基于湖仓一体的数据产品演进，以及我们观察到的一些智能开发相关的新范式。
本篇为系列第2篇，分享在支付宝支付数据链路改造升级过程中，针对数据倾斜的优化实践新方法，在解决数据倾斜问题的同时，还能兼顾更优的计算性能！
