快手：从 Clickhouse 到 Apache Doris，实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务，每天承载近 10 亿的查询请求。原有湖仓分离架构，由离线数据湖和实时数仓组成，面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力，替换了 Clickhouse ，升级为湖仓一体架构，并结合 Doris 的物化视图改写能力和自动物化服务，实现高性能的数据查询以及灵活的数据治理。
hive数仓 ods层增量数据导入
根据业务需求，当表数据量超过10万条时采用增量数据导入，否则全量导入。增量导入基于`create_date`和`modify_date`字段进行，并确保时间字段已建立索引以提升查询效率。避免在索引字段上执行函数操作。创建增量表和全量表，并按日期进行分区。首次导入全量数据，后续每日新增或变更数据保存在增量表中，通过全量表与增量表的合并保持数据一致性。