作者:刘浩,保险极客技术总监
保险极客是一家专注于全流程数智化团险业务的科技公司,致力于通过技术创新提升团险行业的运营效率和服务质量,推动数智化进程并加速行业生态共建。随着团险业务的快速发展,数据量呈现爆发式增长,传统的数据处理方式逐渐暴露出性能瓶颈和扩展性不足的问题。特别是在数据核对、实时查询和统计分析等场景中,传统数据库在面对海量数据时显得力不从心。
为了应对这些挑战,保险极客决定引入阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL,一款高性能的数据仓库解决方案。AnalyticDB以其强大的计算能力、高度兼容性和灵活的扩展性,成为保险极客实现数智化转型的关键技术支撑。
保险极客从AnalyticDB数仓版集群升级到新的AnalyticDB企业版架构后,成本降低40%,性能提升30%,整体性价比提升了一倍。借用AnalyticDB MySQL的新版本存储引擎XUANWU_V2以及存算分离架构,实现了更好的读写隔离和读读隔离能力,提升了集群在业务高峰时以及追数跑批时的稳定性。
挑战
▶︎ 团险业务存在大量的数据核对场景
保险行业是一个高度依赖数据的行业,尤其是在保单管理、理赔分析、风险控制以及财务管理等核心业务中,数据核对是不可或缺的一环。然而,传统数据库在处理复杂查询时效率低下,严重影响了业务的响应速度。例如,在保全数据核对的场景中,原有的查询耗时高达50秒,导致核对过程冗长且容易出错。这不仅影响了用户体验,还增加了人工干预的成本。
▶︎ 特殊场景的SQL需要灵活可控
在团险业务中,某些特殊的查询场景对SQL的优化和资源分配提出了更高的要求。例如,在非核心业务场景下,查询任务可能涉及到大量历史数据或复杂的多表关联操作,这些任务对系统资源的占用较大。如果不对这些查询进行优化和限制,可能会对核心业务的稳定性造成影响。因此,如何在保证核心业务流畅运行的同时,灵活管理非核心场景的查询任务,成为了一个亟待解决的问题。
▶︎ 数据实时性需求
随着团险业务的数字化转型,用户对数据实时性的需求日益增加。例如,在核保过程中,业务人员依赖大量数据做核保判断,比如需要实时查看特定企业或某个类型企业的理赔报告,以便快速做出核保决策。此外,业务系统需要能够无缝切换到新的数据引擎,同时确保数据的一致性和实时性。这对数据同步技术和查询引擎的性能提出了极高的要求。
▶︎ 传统架构的局限性
保险极客原有的数据架构基于传统的ETL流程,数据从生产系统到分析系统的同步存在较大的延迟。这种延迟不仅影响了业务决策的及时性,还导致了数据孤岛问题。此外,传统架构的扩展性较差,难以满足未来业务增长的需求。
解决方案
▶︎ 湖仓一体实时数仓
通过充分发挥AnalyticDB与MySQL的兼容性优势,将部分RDS MySQL中较为复杂的分析SQL导入至AnalyticDB 。不论在数据湖中的非结构化/半结构化数据,还是在数据库中的结构化数据,都可使用AnalyticDB MySQL同时完成高吞吐离线处理和高性能在线分析,真正做到「数据湖的规模,数据库的体验」。
▶︎ 企业版
企业版是湖仓版和数仓版的融合升级版本,产品特性与湖仓版相同。它既支持弹性模式下的资源组隔离、资源灵活弹性、冷热数据分层存储等能力,也具备预留模式下的高吞吐实时写入和高并发在线查询能力。从数仓版升级到企业版后,可实现成本降低,性能提升。
▶︎ 支持数据实时同步
利用DTS数据传输服务将业务数据库的RDS MySQL实例实时同步至AnalyticDB,并对DTS任务进行实时监控与告警设置,确保数据传输的高效、准确与及时,全面满足业务对数据实时性的要求。
▶︎ 实时监控与弹性扩展
依托AnalyticDB MySQL版本提供的云原生监控能力,可实时感知集群运行状态。在业务高峰期能够进行平滑扩容,保障系统的高可用性和稳定性,提升整体服务能力。
价值
通过引入AnalyticDB,我们在复杂数据查询和实时同步方面取得了显著突破,其分布式、弹性与云计算的优势得以充分体现,帮助企业快速响应业务变化,实现降本增效。AnalyticDB的卓越表现保障了保险极客数据服务的品质和效率。
—— 保险极客技术总监刘浩
▶︎ 大幅提升复杂查询效率
AnalyticDB的引入显著提升了保险极客在复杂数据查询场景中的效率。例如,在保全数据核对的场景中,AnalyticDB将查询耗时从原来的50秒降低至仅需3秒,极大地缩短了业务响应时间。这种高效的查询能力不仅提升了用户体验,还降低了人工干预的需求,从而节省了大量的运营成本。数仓版升级企业版后,成本降低40%,性能提升30%。
▶︎ 统一数据引擎&数据实时同步
AnalyticDB的高度兼容性使得它可以无缝集成到保险极客现有的数据架构中。特别是其与MySQL的高度兼容性,使得ODS层数据可以通过ZeroETL实现实时同步。这种架构的优势在于,业务系统的查询场景可以无缝切换到AnalyticDB,而无需对现有业务逻辑进行大规模改造。此外,ZeroETL技术的引入消除了传统ETL流程中的延迟问题,实现了真正的实时数据同步。
▶︎ 支持实时查询与统计
借助AnalyticDB的强大计算能力,保险极客实现了业务数据的实时查询与统计。例如,在核保的场景中,原始数据通过ZeroETL实时同步后,业务人员可以随时获取各项核保指标数据。这种实时性不仅提高了核保的效率,还为风险控制和业务决策提供了强有力的数据支持。
▶︎ AnalyticDB Hint的使用:针对特殊场景的SQL优化/控制
AnalyticDB提供了丰富的Hint功能,允许用户针对特殊场景的SQL进行优化和控制。例如,在非核心业务场景下,可以通过指定资源组来限制查询任务对系统资源的占用;或者通过设置超时时间,防止长时间运行的查询任务影响其他业务。这种灵活性使得保险极客能够在保证核心业务稳定运行的同时,高效地处理各类特殊查询需求。
▶︎ 未来扩展性与成本优化
AnalyticDB的云原生架构为保险极客提供了极高的扩展性。随着业务的增长,保险极客可以轻松地扩展AnalyticDB的计算和存储资源,而无需担心硬件限制。此外,AnalyticDB的按需计费模式也帮助保险极客显著降低了IT基础设施的成本,使其能够将更多的资源投入到核心业务的创新中。