《生来创新-金融级云原生》——2 金融级云原生的“新标准和新蓝图”——2.3 构建金融云原生的新蓝图——金融级云原生数据架构

简介: 《生来创新-金融级云原生》——2 金融级云原生的“新标准和新蓝图”——2.3 构建金融云原生的新蓝图——金融级云原生数据架构

金融级云原生数据架构

 

云原生框架天生具快速交付、弹性伸缩、标准化、自动化、隔离性等诸多优势,与新一 代数据技术不断融合,形成了具备如下几个特点的云原生数据架构体系。


1、可扩展的多种计算模式融合

生数据架构可统一支持批、流、交互式、多模、图等不同计算模式的融合,例如:湖 一体、流批一体、流式机器学习,  使多种计算系统进行深度整合,  在功能、生态上形成互补, 用户能够在一套系统内完成更多种类型计算 , 提升平台运行效率,降低使用成本。


2、多层智能化的分布式存储层

存储计算分离会在三年内成为标准,数据平台向托管化和云原生的方向发展。存储内部 精细化的分层成为平衡性能和成本的关键手段,基于分布式存储系统上的多层存储 ( 热存储 / 标准存储 / 冷存储等 ) 与存储利用相结合实现存储降本。AI 在分层算法上将发挥更大的作用, 编码和压缩在通处理器上的优化空间有限的情况下,未来更大的突破和技术换代将取决于软 硬一体化的技术发展及应用情况。


3、统一调度和弹性伸缩的资源池管理

随着数据湖存算分离不断深入 , 围绕基于云原生架构下来建立统一容器化资源调度系统成 为数据湖存算分离发展的必要组件,为大数据与 AI 一体化架构提供统一资源池化与在离线混部 的基础支撑;通统一算力资源池实现资源统筹调度,优化资源细粒度的管理与调度,可以将 离线计算与其它在线计算任务进行资源混部达到峰谷互补的效果,有助于提升服务器资源利用 率;同时,可以根据业务优先级分配计算任务资源,确保资源调度期间不发生争抢,实现在 业务高峰期,以弹性扩缩容模式调用算力资源,充分发挥资源算力,提升响应效率。


4、大数据 SRE 智能运维能力

大数据技术多性和数据平台架构的复杂性,为大数据平台的运维带来挑战。新一代大数 据平台可支持在线滚动升级,缩短升级时长;提供统一运行各类异构工作负载流程,统一管理 作业生命周期, 统一调度任务工作流, 为任务的规模和性能提供保证;通过作业日志, 性能指标资源利用率等数据, 结合历史记录和实时负载情况, 使用机器学习方式进行分析、检测和调优  在查询计划、数据模型、资源管理自适应,以及系统异常检测和自愈等方面不断优化,形成大 规模数据平台的智能化运维能力

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
1035 52
|
5月前
|
Cloud Native 算法 区块链
站在巨人的肩膀上:gRPC通过HTTP/2构建云原生时代的通信标准
gRPC是云原生时代高效通信标准,基于HTTP/2实现,支持四种服务方法。通过.proto文件定义接口,生成多语言Stub,实现跨语言调用。其请求响应结构清晰,结合Headers、Data帧与Trailers,保障高性能与可扩展性,广泛应用于微服务架构中。
259 0
|
5月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
757 52
|
5月前
|
机器学习/深度学习 人工智能 搜索推荐
从零构建短视频推荐系统:双塔算法架构解析与代码实现
短视频推荐看似“读心”,实则依赖双塔推荐系统:用户塔与物品塔分别将行为与内容编码为向量,通过相似度匹配实现精准推送。本文解析其架构原理、技术实现与工程挑战,揭秘抖音等平台如何用AI抓住你的注意力。
1343 7
从零构建短视频推荐系统:双塔算法架构解析与代码实现
|
4月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
4月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
438 2
|
4月前
|
人工智能 Kubernetes Cloud Native
Higress(云原生AI网关) 架构学习指南
Higress 架构学习指南 🚀写在前面: 嘿,欢迎你来到 Higress 的学习之旅!
1184 0
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
444 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
6月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
本文内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。
590 16
|
6月前
|
运维 监控 Cloud Native
从本土到全球,云原生架构护航灵犀互娱游戏出海
内容整理自「 2025 中企出海大会·游戏与互娱出海分论坛」,灵犀互娱基础架构负责人朱晓靖的演讲内容,从技术层面分享云原生架构护航灵犀互娱游戏出海经验。

热门文章

最新文章