带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: 带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache   Doris 统一 OLAP 技术栈实践(1):https://developer.aliyun.com/article/1405781


架构2.0:基于Apache  Doris 统一技术栈  

image.png

 

数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。1.0版本依赖于多个组件共同构建 OLAP 分析引擎,在业务拓展阶段逐步出现架构存储冗余、数据延迟、维护成本过高等问题。架构2.0 版本基于Apache    Doris  升级改造,替换了Presto MySQL HBaseClickhouse 四个组件并将数据迁移至Apache Doris 中,以提供统一的对外查询服务。 

 

新架构不仅实现了技术栈的统一,还降低了开发、存储与运维等各方面的成本支出,实现了业务与数据的进一步统一。基于 Apache    Doris 一套系统能够同时支撑在线与离线任务处理,实现数据存储统一;能够满足了不同场景的数据分析服务,支持高吞吐的交互式分析与高并发的点查询,实现业务分析统一。


加速数据分析效率

 

通过 Doris极速分析性能,在面向C端用户的高并发点查询场景中,QPS  能够达到数千至数万,对于数亿或者数十亿数据的查询达到毫秒级响应; 利用 Doris丰富的数据导入方式和高效的写入能力,实现秒级写入时延,并利用Unique Key写时合并来进一步加速在并行读写阶段的查询性能。此外,我们还利用了Doris冷热分层将海量的历史冷数据存储于廉价的存储介质中,降低了历史数据的存储成本并提升了对热数据的查询效率。 

 

降低各类成本支出

 

新架构较于原有架构,核心组件的数量减少了一半,平台架构得以大幅简化,运维成本大大降低。此外,Apache Doris使数据无需再通过不同组件完成存储与查询服务,统一了实时与离线业务负载、降低了存储成本;数据服务API对外提供服务时也无需再合并实时与离线数据,使数据服务API 接入时的开发成本缩减至50%;

 

 

保证数据服务高可用

 

因为 Doris的统一存储、计算和服务的数仓架构,平台整体灾备方案易于实施,不再担心多个组件造成数据丢失、重复带来的问题。更重要的是,Doris自带的跨集群复制CCR  功能,能够提供集群间数据库表秒级至分钟级的同步,当系统崩溃导致业务中断或者丢失时,我们可以从备份中快速恢复。

 

 

Doris 跨集群复制 CCR 功能两大机制满足了我们在系统服务可用性方面的抢需求,保证了数据服务高可用,具体如下 

 

●Binlog 机制:当数据发生变更时,通过该机制我们可以自动记录数据修改的记录与操作,并

且对每个操作构建了递增序列的LogID,  实现数据的可追溯性与有序性。 

 

持久化机制:在系统崩溃或者发生突发事件后,通过该机制能够将数据持久化至磁盘来确保

数据的可靠性和一致性。 

 

保险一线业务收益与实践 

 

目前,基于Apache Doris 统一技术栈的实时数仓已经在2022Q3上线并投入生产环境使用, 用于支撑海量数据的 OLAP  高效分析能力,并在平台上支撑了更多业务相关的场景。在业 务经营方面,销售线索的规模也在不断扩大,目前已达到亿级。随着 Apache Doris的功能的进一步引入,由数仓支持的一线业务营收也在持续增长中。

 

销售线索高效追踪:目前,我们已经在销售与业绩类追踪上线30+新场景应用,业务人员能够基于销售线索准确、快速地获取客户在官网、APP、  商城、公众号、小程序等渠道的保险测评、直播参与数据、企微活动参与数据、免险投保等轨迹与数据,并通过Apache   Doris多维分析进行线索转化,最终实现精准触达客户、有效抓住客户动机、及时跟进成单。

 

客户留存信息高频更新:在新客户转化与老客户关怀类已上线20+新场景应用,业务场景的顺利进行离不开数据平台对于客户留存信息的高频更新能力,通过Apache Doris 对老客户数据定期分析,能够有效查询客户在不同阶段的保险业务需求,发现老客户的保障缺口,拓宽老客户可保边界,进一步增加业务经营收益。

 

业务场景数据一致打通: 在客户服务方面,我们更关注为客户提供一致化的体验与快速响应的服务。目前,我们已经上线了20+相关服务体验的新场景应用,避免出现信息不对称、数据不一致的情况,保证各个销售环节的数据在承保、理赔、客服咨询、会员中心等流程中能够一致统一。 

 

 未来规划 

 

ApacheDoris 的引入在实时数仓架构简化与性能提升方面起到了至关重要的作用。目前,我们已经基于 ApacheDoris替换了 PrestoClickhouseMySQLHBase多个组件以实现OLAP技术栈统一、各类成本降低,并提升导入与查询性能。

 

同时我们也计划进一步基于Doris在批处理层 (Batch Layer) 尝试应用,将离线数据批处理统一在Doris中进行,解决 Lambda  架构在实时和离线链路中成本叠加、无法兼容的问题,真正实现架构在计算、存储、分析的统一。同时,我们也将继续发挥 Doris统一的优势,利用 Multi-Catalog 让数据在湖与仓之间自由流动,实现数据湖和多种异构存储之上无缝且极速的分析服务,成为一套更完整、更开放统一的大数据技术生态系统。

 

非常感谢SelectDB团队一直以来对我们的技术支持。至此,招商信诺数据仓库不再局限于简单的报表场景,通过一套架构支撑了多种不同场景的数据分析、满足了实时与离线数据的统一写入与查询,为产品营销、客户运营、C端以及 B 端等业务提供数据价值,使保险人员更高效地获取数据、更准确地预知客户需求,为企业获得先机。

 

未来,我们也会持续参与到 Apache  Doris 社区建设中,贡献保险行业在实时数仓的建设经验与实践应用,希望Apache Doris不断发展壮大,为基础软件建设添砖加瓦!

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
639 9
|
7月前
|
SQL 分布式计算 DataWorks
破界·融合·进化:解码DataWorks与Hologres的湖仓一体实践
基于阿里云DataWorks与实时数仓Hologres,提供统一的大数据开发治理平台与全链路实时分析能力。DataWorks支持多行业数据集成与管理,Hologres实现海量数据的实时写入与高性能查询分析,二者深度融合,助力企业构建高效、实时的数据驱动决策体系,加速数字化升级。
|
9月前
|
SQL 存储 缓存
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
顺丰科技引入 Doris 替换 Presto,在内部可视化数据自助分析工具丰景台场景广泛应用。目前,顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中,日均查询量 100W+。并实现 P95 性能提升近 3 倍,硬件资源节省达 48% 显著收益。
305 9
顺丰科技:从 Presto 到 Doris 湖仓构架升级,提速 3 倍,降本 48%
|
5月前
|
存储 自然语言处理 分布式计算
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
Apache Doris 3.1 正式发布!全面升级半结构化分析,支持 VARIANT 稀疏列与模板化 Schema,提升湖仓一体能力,增强 Iceberg/Paimon 集成,优化存储引擎与查询性能,助力高效数据分析。
775 4
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
|
10月前
|
存储 SQL 运维
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
525 0
中国联通网络资源湖仓一体应用实践
|
6月前
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,菜鸟为什么选择 Doris,以及 Doris 如何在菜鸟从 0 开始,一步步的验证、落地,到如今上万核的规模,服务于各个业务线,Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
433 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
|
10月前
|
存储 消息中间件 Java
抖音集团电商流量实时数仓建设实践
本文基于抖音集团电商数据工程师姚遥在Flink Forward Asia 2024的分享,围绕电商流量数据处理展开。内容涵盖业务挑战、电商流量建模架构、流批一体实践、大流量任务调优及总结展望五个部分。通过数据建模与优化,实现效率、质量、成本和稳定性全面提升,数据质量达99%以上,任务性能提升70%。未来将聚焦自动化、低代码化与成本优化,探索更高效的流批一体化方案。
659 12
抖音集团电商流量实时数仓建设实践
|
4月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
832 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
456 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式

推荐镜像

更多