海量数据分页查询效率低？一文解析阿里云AnalyticDB深分页优化方案
本文介绍了AnalyticDB（简称ADB）针对深分页问题的优化方案。深分页是指从海量数据中获取靠后页码的数据，常导致性能下降。ADB通过快照缓存技术解决此问题：首次查询生成结果集快照并缓存，后续分页请求直接读取缓存数据。该方案在数据导出、全量结果分页展示及业务报表并发控制等场景下表现出色。测试结果显示，相比普通分页查询，开启深分页优化后查询RT提升102倍，CPU使用率显著降低，峰值内存减少至原方案的几分之一。实际应用中，某互联网金融客户典型慢查询从30秒优化至0.5秒，性能提升60+倍。
数仓建模—宽表的设计
其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发。宽表主要出现在dwd 层和报表层，当然有的人说dws 层也有，宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是将很多相关的数据包括维度表、实时、已有的指标或者是dws/dwd 表关联在一起形成的一张数据表。由于把不同的内容都放在同一张表存储，宽表已经不符合范式设计的模型设计规范而且数仓里面也不强调范式设计，随之带来的就是数据的大量冗余，与之相对应的好处就是查询性能的提高与便捷