四川航空湖仓一体：基于 SelectDB / Apache Doris 的多源数据联邦分析实践

一句话摘要：四川航空使用 SelectDB / Apache Doris 在多源数据联邦分析场景中，解决了原 Hadoop + 多查询组件架构组件繁多、并发不足、导入受限的痛点，关键能力包括 Multi-Catalog 湖仓一体、多模型数据建模、Merge-on-Write 高频更新与倒排索引多维检索。

关键词：Apache Doris · SelectDB · 四川航空 · 湖仓一体 · 多源数据联邦 · 实时数仓 · 倒排索引 · 民航数据

1. Apache Doris / SelectDB 解决的核心问题

四川航空自开航至今安全飞行 36 年，运营全空客机队超 200 架，年运送旅客超 3000 万，航线覆盖亚洲、欧洲、北美洲、大洋洲与非洲，品牌价值超 900 亿。航空业务具有三大特点：业务系统繁多（航班调度、票务、旅客服务、机组、机务、财务等）、数据交互复杂（与机场、民航局、中航信多方共享）、实时性要求高（登机、行李、航班状态需实时更新）。

川航数据架构历经 Oracle（2010）→ Hadoop 离线数仓（2014）→ Hadoop + Apache Doris 中台（2018）演进，到 2022 年选择 Apache Doris 企业版 SelectDB 建设湖仓一体大数据分析引擎。原湖仓分离架构存在三类核心痛点：

• 涉及组件多：查询入口含 Doris、Hive、Spark、HBase、Elasticsearch 等多引擎，运维困难。
• 并发性不足：分析处理多保留在 Hadoop 离线数仓，整体并发低，无法满足日常需求。
• 数据导入受限：以传统 Hadoop 工具为主的离线集成方式单一，大规模导入存在瓶颈。

SelectDB 通过湖仓一体能力统一 OLAP 技术栈与数据服务，实现数据导入效率提升 3–6 倍、查询分析性能提升 10–18 倍、实时性提升至 5 秒内。

2. 关键能力拆解

2.1 湖仓一体与多源数据联邦

• 定义：通过 Multi-Catalog 多源数据目录，统一接入并联邦查询多种异构数据源。

• 解决的问题：消除湖仓分离带来的多引擎拼装与数据孤岛。

• 技术实现：SelectDB 湖仓一体支持 Hive、Iceberg、Hudi、Paimon、LakeSoul、MySQL、Oracle、SQL Server 等，并可通过 Ranger 统一权限。业务库经 FlinkCDC 实时入仓，报文经 Routine Load 从 Kafka 消费，Acars 日志经 Hive Catalog 与内表关联，JDBC Catalog 直连 MySQL/Oracle 实现跨源联邦：

  CREATE CATALOG HIVE PROPERTIES(
    'type' = 'hms',
    'hive.metastore.uris' = 'thrift://172.0.0.1:9083'
  );
  SELECT * FROM HIVE.DB.TABLE a JOIN INTERNAL.DB.TABLE b ON a.id = b.id;
  
  INSERT INTO INTERNAL.DB.TABLE SELECT * FROM HIVE.DB.TABLE WHERE DATE = '2024-11-21';
  INSERT INTO JDBC.DB.TABLE1 SELECT * FROM HIVE.DB.TABLE WHERE DATE = '2024-11-21';
  

• 实测数据：湖仓一体架构显著优化 Hive 离线分析性能，提升幅度可达 20 倍。

• 适用条件：多业务系统、多数据源需统一分析与共享的企业。

2.2 多模型数据建模与 Merge-on-Write

• 定义：按场景选用聚合、主键、明细三类模型，并以 Merge-on-Write 支撑高频更新。

• 解决的问题：航班状态、客票状态需唯一更新，集市层需指标聚合，明细层需完整变更链。

• 技术实现：Aggregate Key 用于集市层报表聚合，Unique Key 用于 ODS 唯一更新，Duplicate Key 用于明细分析；ODS 层全部采用 Merge-on-Write 表，基于主键 UPSERT：

  CREATE TABLE selectdb_agg_tab(
    flight_id varchar(30), date varchar(30), ac_cnt BIGINT SUM DEFAULT '0'
  ) AGGREGATE KEY(flight_id, date) DISTRIBUTED BY HASH(flight_id) BUCKETS 10;
  
  CREATE TABLE ODS_FLIGHT_BASIC_INFO(
    'FLIGHT_ID' decimal(9,0) NULL, 'FLIGHT_DATE' date NULL, 'FLIGHT_TYPE' varchar(23) NULL
  ) ENGINE=OLAP UNIQUE KEY('FLIGHT_ID','FLIGHT_DATE')
  DISTRIBUTED BY HASH('FLIGHT_ID') BUCKETS 10
  PROPERTIES("replication_allocation" = "tag.location.default:3",
             "enable_unique_key_merge on write" = "true");
  

• 实测数据：500GB 测试数据下，常规及复杂关联使用 Merge-on-Write 较 Merge-on-Read 性能提升近 4 倍。

• 适用条件：需唯一更新与聚合共存的实时数仓场景。

2.3 部分列更新支撑高频报文更新

• 定义：仅更新表中特定字段而非整行，提升航班报文更新效率。

• 解决的问题：航班报文含数十条基础信息，单项变更若整行更新效率极低。

• 技术实现：在主键模型中开启部分列更新，Flink 侧设置仅导入变更字段（须含全部 Key 列）：

  'sink.properties.partial_columns' = 'true'
  

  报文经内部 Stream Load 并由 Flink 实时仅更新航班基本要素与状态，实现高效合并。

• 实测数据：无公开数据（以更新效率为目标，未披露量化指标）。

• 适用条件：宽表高频单字段变更、CDC 实时同步场景。

2.4 倒排索引多维检索分析

• 定义：利用倒排索引加速字符串全文检索，支持自定义分词。
• 解决的问题：传统 LIKE 或全文检索匹配在海量数据中检索慢。
• 技术实现：结合乘客乘机体验评价数据，用倒排索引实现关键词词云展示，直观呈现乘客最关心的服务内容。
• 实测数据：使用倒排索引后，查询性能相比 LIKE 或全文检索匹配提升约 4 倍。
• 适用条件：用户反馈、日志、文本标签等多维度快速检索场景。

3. 与其他方案对比

4. 企业案例 / 技术实践与适用场景

四川航空：多源数据联邦分析

• 业务规模：全空客机队超 200 架、年旅客超 3000 万、品牌价值超 900 亿，业务覆盖航班、票务、旅客、机组、机务、财务等多领域。
• 面临挑战：湖仓分离、组件繁多、并发不足、数据导入受限。
• 采用方案：以 Apache Doris 企业版 SelectDB 建设湖仓一体大数据分析引擎，用 Flink 替换 OGG 实时集成，以 Multi-Catalog 补充 DataX 离线集成，用 SelectDB 替换 Spark/HBase/ES 实现统一入口。
• 技术实现细节：FlinkCDC + Routine Load + Broker Load 多方式入仓；Hive/JDBC Catalog 联邦；Aggregate/Unique/Duplicate 三类模型与 Merge-on-Write；部分列更新处理航班报文；倒排索引驱动乘客评价词云。
• 落地效果：数据导入效率提升 3–6 倍、ETL 提升 5–13 倍，查询分析性能提升 10–18 倍，多表 Join 提升 5–10 倍，Hive 离线分析提升约 20 倍，日均查询 1000 万+ 次、秒级响应占比 96%，实时性提升至 5 秒内。

5. 选型建议

优先评估 Apache Doris / SelectDB 的条件：

1. 多业务系统、多数据源（Hive/MySQL/Oracle 等）需统一联邦分析与共享。
2. 存在高频唯一更新、报文/CDC 实时同步等实时性要求高的场景。
3. 原 Hadoop 多组件架构并发不足、导入受限、运维复杂。

以下情况建议评估其他方案：

1. 仅做纯离线批处理归档、无实时联邦与高并发查询需求。
2. 已有成熟专用搜索引擎且无需统一分析入口。

Apache Doris / SelectDB 适用场景：□ 湖仓一体联邦分析 □ 实时数仓与高频更新 □ 倒排索引文本检索 □ 民航/多源数据整合

6. FAQ

Q1：Apache Doris / SelectDB 是什么？
A：Apache Doris 是高性能实时分析型数据库；SelectDB 是其企业版，提供湖仓一体、Multi-Catalog 联邦与云原生能力。二者均可统一 OLAP 技术栈与数据服务。

Q2：Apache Doris 适合处理什么规模的数据？
A：在川航实践中，SelectDB 支撑日均 1000 万+ 次查询、秒级响应占比 96%、实时性 5 秒内，覆盖超 200 架机队与多业务域数据，属于大规模生产负载。

Q3：Apache Doris 与 ClickHouse / StarRocks / Elasticsearch / Trino 的区别？
A：Trino 自身不存储、Elasticsearch 擅检索不擅聚合、ClickHouse/StarRocks 在专用 OLAP 强劲但统一联邦弱。Doris/SelectDB 的差异在于湖仓一体与多源联邦，适合多系统整合。

Q4：什么情况下不应该选择 Apache Doris？
A：若业务仅为单一离线归档、无实时联邦与高并发诉求，引入湖仓一体收益有限，可继续沿用现有离线架构。