金融级云原生数据架构
云原生框架天生具备快速交付、弹性伸缩、标准化、自动化、隔离性等诸多优势,与新一 代数据技术不断融合,形成了具备如下几个特点的云原生数据架构体系。
1、可扩展的多种计算模式融合
云原生数据架构可统一支持批、流、交互式、多模、图等不同计算模式的融合,例如:湖 仓一体、流批一体、流式机器学习, 使多种计算系统进行深度整合, 在功能、生态上形成互补, 用户能够在一套系统内完成更多种类型计算 , 提升平台运行效率,降低使用成本。
2、多层智能化的分布式存储层
存储计算分离会在两三年内成为标准,数据平台向托管化和云原生的方向发展。存储内部 精细化的分层成为平衡性能和成本的关键手段,基于分布式存储系统上的多层存储 ( 热存储 / 标准存储 / 冷存储等 ) 与存储利用相结合实现存储降本。AI 在分层算法上将发挥更大的作用, 编码和压缩在通用处理器上的优化空间有限的情况下,未来更大的突破和技术换代将取决于软 硬一体化的技术发展及应用情况。
3、统一调度和弹性伸缩的资源池管理
随着数据湖存算分离不断深入 , 围绕基于云原生架构下来建立统一容器化资源调度系统成 为数据湖存算分离发展的必要组件,为大数据与 AI 一体化架构提供统一资源池化与在离线混部 的基础支撑;通过统一算力资源池实现资源统筹调度,优化资源细粒度的管理与调度,可以将 离线计算与其它在线计算任务进行资源混部达到峰谷互补的效果,有助于提升服务器资源利用 率;同时,也可以根据业务优先级分配计算任务资源,确保资源调度期间不发生争抢,实现在 业务高峰期,以弹性扩缩容模式调用算力资源,充分发挥资源算力,提升响应效率。
4、大数据 SRE 智能运维能力
大数据技术多样性和数据平台架构的复杂性,为大数据平台的运维带来挑战。新一代大数 据平台可支持在线滚动升级,缩短升级时长;提供统一运行各类异构工作负载流程,统一管理 作业生命周期, 统一调度任务工作流, 为任务的规模和性能提供保证;通过作业日志, 性能指标, 资源利用率等数据, 结合历史记录和实时负载情况, 使用机器学习方式进行分析、检测和调优, 在查询计划、数据模型、资源管理自适应,以及系统异常检测和自愈等方面不断优化,形成大 规模数据平台的智能化运维能力。