《生来创新-金融级云原生》——2 金融级云原生的“新标准和新蓝图”——2.3 构建金融云原生的新蓝图——金融级云原生数据架构

简介: 《生来创新-金融级云原生》——2 金融级云原生的“新标准和新蓝图”——2.3 构建金融云原生的新蓝图——金融级云原生数据架构

金融级云原生数据架构

 

云原生框架天生具快速交付、弹性伸缩、标准化、自动化、隔离性等诸多优势,与新一 代数据技术不断融合,形成了具备如下几个特点的云原生数据架构体系。


1、可扩展的多种计算模式融合

生数据架构可统一支持批、流、交互式、多模、图等不同计算模式的融合,例如:湖 一体、流批一体、流式机器学习,  使多种计算系统进行深度整合,  在功能、生态上形成互补, 用户能够在一套系统内完成更多种类型计算 , 提升平台运行效率,降低使用成本。


2、多层智能化的分布式存储层

存储计算分离会在三年内成为标准,数据平台向托管化和云原生的方向发展。存储内部 精细化的分层成为平衡性能和成本的关键手段,基于分布式存储系统上的多层存储 ( 热存储 / 标准存储 / 冷存储等 ) 与存储利用相结合实现存储降本。AI 在分层算法上将发挥更大的作用, 编码和压缩在通处理器上的优化空间有限的情况下,未来更大的突破和技术换代将取决于软 硬一体化的技术发展及应用情况。


3、统一调度和弹性伸缩的资源池管理

随着数据湖存算分离不断深入 , 围绕基于云原生架构下来建立统一容器化资源调度系统成 为数据湖存算分离发展的必要组件,为大数据与 AI 一体化架构提供统一资源池化与在离线混部 的基础支撑;通统一算力资源池实现资源统筹调度,优化资源细粒度的管理与调度,可以将 离线计算与其它在线计算任务进行资源混部达到峰谷互补的效果,有助于提升服务器资源利用 率;同时,可以根据业务优先级分配计算任务资源,确保资源调度期间不发生争抢,实现在 业务高峰期,以弹性扩缩容模式调用算力资源,充分发挥资源算力,提升响应效率。


4、大数据 SRE 智能运维能力

大数据技术多性和数据平台架构的复杂性,为大数据平台的运维带来挑战。新一代大数 据平台可支持在线滚动升级,缩短升级时长;提供统一运行各类异构工作负载流程,统一管理 作业生命周期, 统一调度任务工作流, 为任务的规模和性能提供保证;通过作业日志, 性能指标资源利用率等数据, 结合历史记录和实时负载情况, 使用机器学习方式进行分析、检测和调优  在查询计划、数据模型、资源管理自适应,以及系统异常检测和自愈等方面不断优化,形成大 规模数据平台的智能化运维能力

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
491 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
6月前
|
SQL 监控 关系型数据库
MySQL主从复制:构建高可用架构
本文深入解析MySQL主从复制原理与实战配置,涵盖复制架构、监控管理、高可用设计及性能优化,助你构建企业级数据库高可用方案。
|
7月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
本文内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
652 16
|
6月前
|
数据采集 运维 监控
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
构建企业级Selenium爬虫:基于隧道代理的IP管理架构
|
7月前
|
监控 Java API
Spring Boot 3.2 结合 Spring Cloud 微服务架构实操指南 现代分布式应用系统构建实战教程
Spring Boot 3.2 + Spring Cloud 2023.0 微服务架构实践摘要 本文基于Spring Boot 3.2.5和Spring Cloud 2023.0.1最新稳定版本,演示现代微服务架构的构建过程。主要内容包括: 技术栈选择:采用Spring Cloud Netflix Eureka 4.1.0作为服务注册中心,Resilience4j 2.1.0替代Hystrix实现熔断机制,配合OpenFeign和Gateway等组件。 核心实操步骤: 搭建Eureka注册中心服务 构建商品
1176 3
|
7月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
|
8月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
929 0
|
6月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
883 52
|
6月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
1652 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
6月前
|
消息中间件 缓存 监控
中间件架构设计与实践:构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的"神经网络",强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系,包括通信中间件(如RabbitMQ/Kafka)、数据中间件(如Redis/MyCAT)等类型。文章重点剖析了消息中间件的实现机制,通过Spring Boot代码示例展示了消息生产者的完整实现,涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后,作者指出中间件架构设计对系统性能的决定性影响,