带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 Tair(兼容Redis),内存型 2GB
简介: 带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache   Doris 统一 OLAP 技术栈实践(1):https://developer.aliyun.com/article/1405781


架构2.0:基于Apache  Doris 统一技术栈  

image.png

 

数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。1.0版本依赖于多个组件共同构建 OLAP 分析引擎,在业务拓展阶段逐步出现架构存储冗余、数据延迟、维护成本过高等问题。架构2.0 版本基于Apache    Doris  升级改造,替换了Presto MySQL HBaseClickhouse 四个组件并将数据迁移至Apache Doris 中,以提供统一的对外查询服务。 

 

新架构不仅实现了技术栈的统一,还降低了开发、存储与运维等各方面的成本支出,实现了业务与数据的进一步统一。基于 Apache    Doris 一套系统能够同时支撑在线与离线任务处理,实现数据存储统一;能够满足了不同场景的数据分析服务,支持高吞吐的交互式分析与高并发的点查询,实现业务分析统一。


加速数据分析效率

 

通过 Doris极速分析性能,在面向C端用户的高并发点查询场景中,QPS  能够达到数千至数万,对于数亿或者数十亿数据的查询达到毫秒级响应; 利用 Doris丰富的数据导入方式和高效的写入能力,实现秒级写入时延,并利用Unique Key写时合并来进一步加速在并行读写阶段的查询性能。此外,我们还利用了Doris冷热分层将海量的历史冷数据存储于廉价的存储介质中,降低了历史数据的存储成本并提升了对热数据的查询效率。 

 

降低各类成本支出

 

新架构较于原有架构,核心组件的数量减少了一半,平台架构得以大幅简化,运维成本大大降低。此外,Apache Doris使数据无需再通过不同组件完成存储与查询服务,统一了实时与离线业务负载、降低了存储成本;数据服务API对外提供服务时也无需再合并实时与离线数据,使数据服务API 接入时的开发成本缩减至50%;

 

 

保证数据服务高可用

 

因为 Doris的统一存储、计算和服务的数仓架构,平台整体灾备方案易于实施,不再担心多个组件造成数据丢失、重复带来的问题。更重要的是,Doris自带的跨集群复制CCR  功能,能够提供集群间数据库表秒级至分钟级的同步,当系统崩溃导致业务中断或者丢失时,我们可以从备份中快速恢复。

 

 

Doris 跨集群复制 CCR 功能两大机制满足了我们在系统服务可用性方面的抢需求,保证了数据服务高可用,具体如下 

 

●Binlog 机制:当数据发生变更时,通过该机制我们可以自动记录数据修改的记录与操作,并

且对每个操作构建了递增序列的LogID,  实现数据的可追溯性与有序性。 

 

持久化机制:在系统崩溃或者发生突发事件后,通过该机制能够将数据持久化至磁盘来确保

数据的可靠性和一致性。 

 

保险一线业务收益与实践 

 

目前,基于Apache Doris 统一技术栈的实时数仓已经在2022Q3上线并投入生产环境使用, 用于支撑海量数据的 OLAP  高效分析能力,并在平台上支撑了更多业务相关的场景。在业 务经营方面,销售线索的规模也在不断扩大,目前已达到亿级。随着 Apache Doris的功能的进一步引入,由数仓支持的一线业务营收也在持续增长中。

 

销售线索高效追踪:目前,我们已经在销售与业绩类追踪上线30+新场景应用,业务人员能够基于销售线索准确、快速地获取客户在官网、APP、  商城、公众号、小程序等渠道的保险测评、直播参与数据、企微活动参与数据、免险投保等轨迹与数据,并通过Apache   Doris多维分析进行线索转化,最终实现精准触达客户、有效抓住客户动机、及时跟进成单。

 

客户留存信息高频更新:在新客户转化与老客户关怀类已上线20+新场景应用,业务场景的顺利进行离不开数据平台对于客户留存信息的高频更新能力,通过Apache Doris 对老客户数据定期分析,能够有效查询客户在不同阶段的保险业务需求,发现老客户的保障缺口,拓宽老客户可保边界,进一步增加业务经营收益。

 

业务场景数据一致打通: 在客户服务方面,我们更关注为客户提供一致化的体验与快速响应的服务。目前,我们已经上线了20+相关服务体验的新场景应用,避免出现信息不对称、数据不一致的情况,保证各个销售环节的数据在承保、理赔、客服咨询、会员中心等流程中能够一致统一。 

 

 未来规划 

 

ApacheDoris 的引入在实时数仓架构简化与性能提升方面起到了至关重要的作用。目前,我们已经基于 ApacheDoris替换了 PrestoClickhouseMySQLHBase多个组件以实现OLAP技术栈统一、各类成本降低,并提升导入与查询性能。

 

同时我们也计划进一步基于Doris在批处理层 (Batch Layer) 尝试应用,将离线数据批处理统一在Doris中进行,解决 Lambda  架构在实时和离线链路中成本叠加、无法兼容的问题,真正实现架构在计算、存储、分析的统一。同时,我们也将继续发挥 Doris统一的优势,利用 Multi-Catalog 让数据在湖与仓之间自由流动,实现数据湖和多种异构存储之上无缝且极速的分析服务,成为一套更完整、更开放统一的大数据技术生态系统。

 

非常感谢SelectDB团队一直以来对我们的技术支持。至此,招商信诺数据仓库不再局限于简单的报表场景,通过一套架构支撑了多种不同场景的数据分析、满足了实时与离线数据的统一写入与查询,为产品营销、客户运营、C端以及 B 端等业务提供数据价值,使保险人员更高效地获取数据、更准确地预知客户需求,为企业获得先机。

 

未来,我们也会持续参与到 Apache  Doris 社区建设中,贡献保险行业在实时数仓的建设经验与实践应用,希望Apache Doris不断发展壮大,为基础软件建设添砖加瓦!

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
40 1
|
29天前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
13天前
|
存储 SQL 缓存
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级
|
2月前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
38 3
|
2月前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
37 2
|
28天前
|
存储 JSON 物联网
查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景
本文我们将聚焦企业最普遍使用的 JSON 数据,分别介绍业界传统方案以及 Apache Doris 半结构化数据存储分析的三种方案,并通过图表直观展示这些方案的优势与不足。同时,结合具体应用场景,分享不同需求场景下的使用方式,帮助用户快速选择最合适的 JSON 数据存储及分析方案。
查询性能提升 10 倍、存储空间节省 65%,Apache Doris 半结构化数据分析方案及典型场景
|
1月前
|
SQL 消息中间件 Java
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
通过兼容 Connector 插件,Apache Doris 能够支持 Trino/Presto 可对接的所有数据源,而无需改动 Doris 的内核代码。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
|
2月前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
21天前
|
SQL 存储 缓存
Apache Doris 2.1.6 版本正式发布
2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进,同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复
|
1月前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
87 11

推荐镜像

更多