带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(2)

更多精彩内容,欢迎观看:

带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache   Doris 统一 OLAP 技术栈实践(1):https://developer.aliyun.com/article/1405781


架构2.0:基于Apache  Doris 统一技术栈  

image.png

 

数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。1.0版本依赖于多个组件共同构建 OLAP 分析引擎,在业务拓展阶段逐步出现架构存储冗余、数据延迟、维护成本过高等问题。架构2.0 版本基于Apache    Doris  升级改造,替换了Presto MySQL HBaseClickhouse 四个组件并将数据迁移至Apache Doris 中,以提供统一的对外查询服务。 

 

新架构不仅实现了技术栈的统一,还降低了开发、存储与运维等各方面的成本支出,实现了业务与数据的进一步统一。基于 Apache    Doris 一套系统能够同时支撑在线与离线任务处理,实现数据存储统一;能够满足了不同场景的数据分析服务,支持高吞吐的交互式分析与高并发的点查询,实现业务分析统一。


加速数据分析效率

 

通过 Doris极速分析性能,在面向C端用户的高并发点查询场景中,QPS  能够达到数千至数万,对于数亿或者数十亿数据的查询达到毫秒级响应; 利用 Doris丰富的数据导入方式和高效的写入能力,实现秒级写入时延,并利用Unique Key写时合并来进一步加速在并行读写阶段的查询性能。此外,我们还利用了Doris冷热分层将海量的历史冷数据存储于廉价的存储介质中,降低了历史数据的存储成本并提升了对热数据的查询效率。 

 

降低各类成本支出

 

新架构较于原有架构,核心组件的数量减少了一半,平台架构得以大幅简化,运维成本大大降低。此外,Apache Doris使数据无需再通过不同组件完成存储与查询服务,统一了实时与离线业务负载、降低了存储成本;数据服务API对外提供服务时也无需再合并实时与离线数据,使数据服务API 接入时的开发成本缩减至50%;

 

 

保证数据服务高可用

 

因为 Doris的统一存储、计算和服务的数仓架构,平台整体灾备方案易于实施,不再担心多个组件造成数据丢失、重复带来的问题。更重要的是,Doris自带的跨集群复制CCR  功能,能够提供集群间数据库表秒级至分钟级的同步,当系统崩溃导致业务中断或者丢失时,我们可以从备份中快速恢复。

 

 

Doris 跨集群复制 CCR 功能两大机制满足了我们在系统服务可用性方面的抢需求,保证了数据服务高可用,具体如下 

 

●Binlog 机制:当数据发生变更时,通过该机制我们可以自动记录数据修改的记录与操作,并

且对每个操作构建了递增序列的LogID,  实现数据的可追溯性与有序性。 

 

持久化机制:在系统崩溃或者发生突发事件后,通过该机制能够将数据持久化至磁盘来确保

数据的可靠性和一致性。 

 

保险一线业务收益与实践 

 

目前,基于Apache Doris 统一技术栈的实时数仓已经在2022Q3上线并投入生产环境使用, 用于支撑海量数据的 OLAP  高效分析能力,并在平台上支撑了更多业务相关的场景。在业 务经营方面,销售线索的规模也在不断扩大,目前已达到亿级。随着 Apache Doris的功能的进一步引入,由数仓支持的一线业务营收也在持续增长中。

 

销售线索高效追踪:目前,我们已经在销售与业绩类追踪上线30+新场景应用,业务人员能够基于销售线索准确、快速地获取客户在官网、APP、  商城、公众号、小程序等渠道的保险测评、直播参与数据、企微活动参与数据、免险投保等轨迹与数据,并通过Apache   Doris多维分析进行线索转化,最终实现精准触达客户、有效抓住客户动机、及时跟进成单。

 

客户留存信息高频更新:在新客户转化与老客户关怀类已上线20+新场景应用,业务场景的顺利进行离不开数据平台对于客户留存信息的高频更新能力,通过Apache Doris 对老客户数据定期分析,能够有效查询客户在不同阶段的保险业务需求,发现老客户的保障缺口,拓宽老客户可保边界,进一步增加业务经营收益。

 

业务场景数据一致打通: 在客户服务方面,我们更关注为客户提供一致化的体验与快速响应的服务。目前,我们已经上线了20+相关服务体验的新场景应用,避免出现信息不对称、数据不一致的情况,保证各个销售环节的数据在承保、理赔、客服咨询、会员中心等流程中能够一致统一。 

 

 未来规划 

 

ApacheDoris 的引入在实时数仓架构简化与性能提升方面起到了至关重要的作用。目前,我们已经基于 ApacheDoris替换了 PrestoClickhouseMySQLHBase多个组件以实现OLAP技术栈统一、各类成本降低,并提升导入与查询性能。

 

同时我们也计划进一步基于Doris在批处理层 (Batch Layer) 尝试应用,将离线数据批处理统一在Doris中进行,解决 Lambda  架构在实时和离线链路中成本叠加、无法兼容的问题,真正实现架构在计算、存储、分析的统一。同时,我们也将继续发挥 Doris统一的优势,利用 Multi-Catalog 让数据在湖与仓之间自由流动,实现数据湖和多种异构存储之上无缝且极速的分析服务,成为一套更完整、更开放统一的大数据技术生态系统。

 

非常感谢SelectDB团队一直以来对我们的技术支持。至此,招商信诺数据仓库不再局限于简单的报表场景,通过一套架构支撑了多种不同场景的数据分析、满足了实时与离线数据的统一写入与查询,为产品营销、客户运营、C端以及 B 端等业务提供数据价值,使保险人员更高效地获取数据、更准确地预知客户需求,为企业获得先机。

 

未来,我们也会持续参与到 Apache  Doris 社区建设中,贡献保险行业在实时数仓的建设经验与实践应用,希望Apache Doris不断发展壮大,为基础软件建设添砖加瓦!

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
1月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
189 9
|
2月前
|
JSON 关系型数据库 Apache
十亿 JSON 秒级响应:Apache Doris vs ClickHouse,Elasticsearch,PostgreSQL
JSONBench 是一个为 JSON 数据而生的数据分析 Benchmark,在默认设置下,Doris 的性能表现是 Elasticsearch 的 2 倍,是 PostgreSQL 的 80 倍。调优后,Doris 查询整体耗时降低了 74%,对比原榜单第一的 ClickHouse 产品实现了 39% 的领先优势。本文详细描述了调优思路与 Doris 调优前后的性能表现,欢迎阅读了解~
504 0
十亿 JSON 秒级响应:Apache Doris vs ClickHouse,Elasticsearch,PostgreSQL
|
2月前
|
SQL 分布式计算 DataWorks
破界·融合·进化:解码DataWorks与Hologres的湖仓一体实践
基于阿里云DataWorks与实时数仓Hologres,提供统一的大数据开发治理平台与全链路实时分析能力。DataWorks支持多行业数据集成与管理,Hologres实现海量数据的实时写入与高性能查询分析,二者深度融合,助力企业构建高效、实时的数据驱动决策体系,加速数字化升级。
|
1月前
|
人工智能 运维 监控
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。这种变革不仅仅是技术层面的进步,更是数据运维治理思维方式的根本性转变:从“被动响应”到“主动预防”,从“人工判断”到“智能决策”,从“孤立处理”到“协同治理”。
248 11
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
|
1月前
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,菜鸟为什么选择 Doris,以及 Doris 如何在菜鸟从 0 开始,一步步的验证、落地,到如今上万核的规模,服务于各个业务线,Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
148 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
|
1月前
|
SQL 存储 JSON
Apache Doris 2.1.10 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.1.10 版本已正式发布。2.1.10 版本对湖仓一体、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
125 5
|
1月前
|
人工智能 自然语言处理 数据挖掘
Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍
在即将发布的 Apache Doris 4.0 版本中,我们正式引入了一系列 LLM 函数,将前沿的 AI 能力与日常的数据分析相结合,无论是精准提取文本信息,还是对评论进行情感分类,亦或生成精炼的文本摘要,皆可在数据库内部无缝完成。
113 0
Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍
|
3月前
|
人工智能 监控 数据挖掘
6/14 上海,Apache Doris x 阿里云 SelectDB AI 主题线下 Meetup 正式开启报名!
6 月 14 日,由 Apache Doris 社区、飞轮科技、阿里云联合发起的湖仓数智融合、AI 洞见未来:Apache Doris x 阿里云 SelectDB 联合 Meetup 将在上海·汇付天下总部大楼正式开启,邀您一同探索 AI 与数据分析的融合实践!
314 76
|
2月前
|
SQL 人工智能 数据挖掘
Apache Doris + MCP:Agent 时代的实时数据分析底座
数据不再是静态的存储对象,而是流动的智能资源;数据库不再是单纯的存储系统,而是智能化的服务平台。Apache Doris 以其在 AI 方向的深度布局和技术创新,正在成为连接数据与智能的重要桥梁。
781 0
Apache Doris + MCP:Agent 时代的实时数据分析底座
|
1月前
|
存储 人工智能 Apache
ApacheCon 2025中国开源年度报告:Apache Doris 国内第一
在 Apache 基金会管理的近 300 个顶级项目中,Doris 已经成为仅次于 Apache Airflow 的全球第二大影响力项目。
131 0

推荐镜像

更多