阿里云刘伟光:4万字解读金融行业全域数据“观”

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 阿里云刘伟光:4万字解读金融行业全域数据“观”



刘伟光,阿里巴巴集团副总裁

阿里云智能新金融&互联网事业部总经理




“大风起于青萍之末,浪成于微澜之间”,用这句话来形容中国金融行业数据领域发展的历程颇为恰当。


从2003年银行的数据仓库初建开始到今天整整20年过去了,相比其他行业,金融行业是真正完整地经历了数据仓库建设和大数据建设的两个十年周期;同时经历了从MPP技术到Hadoop大数据开源技术,再到存储计算分离的云原生数据处理技术;再到AI数据智能化的时代;从持续了20年的数据治理到今天的全域数据资产管理的数据中台化架构,关于金融行业的数据计算分析和智能化运营的探索从来没有停止过。


但是如何在原有的数据基础和平台技术积累上完成全局视角的数据能力提升和技术体系的迭代,这是今天金融行业共同关注的话题,也是金融机构进入数字化智能时代的重要标志。


阿里云历时5年助力阿里巴巴集团完成了全域数据中台的建设,同时也在数据平台的建设和数据治理方面服务了众多不同类型的金融行业客户;数据智能化方面,在接触了近千家金融机构了解实际业务需求和现状后,激发了我们创造本文的热情与初衷——


期望用更全面、更立体的视角去定义数据的技术和业务价值;站在全局视角去剖析数据生命周期的管理;站在云原生技术的视角去建议数据计算能力的未来布局。


同时全文解析了从底层数据计算到数据资产化的完整建设方法和路径;分析了当前数据平台如何从分而治之的建设模式和技术体系逐步演进到全局的数据智能化中台。关于数据领域研究,不仅仅是技术命题,我们也讨论了金融机构内部数据运营模式以及数据人才建设体系这些当前重要话题。


期待本文能够为金融机构不同部门在治理/应用/运营/计算/决策等诸多数据方面的工作,带来有价值的新发现,带来更多关于数据思想的碰撞。


国内各金融机构数据建设历时20年,然而不同阶段、不同技术体系构建的分而治之的数据平台,依然存在“数据底数摸不清、数据质量差、数据不好找、数据用不好、查询响应慢”等诸多问题,本文切入数据领域痛点,通过全局化的数据体系建设的分析视角,从数据的能力体系的建设方法、目标设定、成功标准,技术路线演进路径,数据运营机制等更全局的角度展开分析,期望推动行业实现数据驱动业务高质量发展的终极目标。



01 金融行业数据领域面临的困扰


数字化程度的一个重要标志就是“数据与业务的关系”是否能从“跟随”(事后分析),到“伴随”(实时分析),再到“引领”(智能服务)。金融机构的数据能力已经出现了较大的分化,有些已经一骑绝尘、很好地引领业务的创新,有些则不仅不能跟随业务、甚至成为了业务发展的阻碍。



一是数据平台面临“跟不上”业务,而出现“掉队”的情况。


从2017年到2021年,全国数据生产量增长了3倍多,实时数据、触点数据、过程数据、IOT数据、音视频数据等数据价值不断被深入挖掘,未来业务对数据规模、数据时效、数据类型、数据应用需求会更进一步放大,现有的数据架构开始出现“跟不上”业务而“掉队”的情况。


二是数据管理普遍存在“数据有标准、没有落地”“指标同义不同名、同名不同义”“数据处理与元数据两张皮”等局面。


以监管报送为例,每年超千万罚单均与数据质量相关,提高数据质量已成为亟待解决的问题。


三是数据资产“缺盘点”。


企业往往面临着“指标多、资产少”的困境,报表很多,但能够服务业务,且可复制、可重用的数据资产却很少。


四是数据服务“效率低”。


目前大量金融机构用数取数还是传统模式,从需求到拿到数据需要数月时间,“响应慢”是用数部门普遍面临的痛点。



02 金融数据发展瓶颈的破题之术


未来的金融机构都是“数据驱动型”企业。金融服务正在从“大”到“小”到“微”,数据价值也从原来的“结果记录”发展为起到“实时精准制导”的作用。


我们认为,数据能力像“水”,数据体系就像盛水的“木桶”,需要打造企业整体数据能力,为此,我们从顶层设计、业务价值、数据服务、数据治理、数智算力、数字人才等六个维度提出“企业数据能力建设参考模型”。



首先,数据体系的建设需要从原来单点需求功能实现转变为自顶向下的总体规划设计,审视构建满足业务战略的数据能力,将“数据+业务+技术+组织”融为一体,有效联动,系统化建设企业级数据体系,全面提升数据能力。


其次,从业务目标上,让数据回归解决业务痛点的本源,将以人为驱动的业务经验总结出来,形成以数据驱动的业务动作;从数据服务上,通过一站式数据门户,转变用数习惯,从按需到交互式自助模式,让数据使用贴近业务;从数据质量上,数据生产源头的治理更加重要,将数据标准有效嵌入到数据生产到消费的各个环节,打造全链路治理能力;从平台算力上,海量近实时化数据和基于数据的智能决策的爆发式增长,需要数据平台架构向云原生化和多算力融合能力的升级。


最后,重点需要数字化人才体系的打造,尤其是数据产品经理将成为企业数据领域洞察业务需求、沉淀数据产品、提升服务供给能力的“破局者”。



03 金融数据能力建设的核心观点


数据战略就是企业战略。数据是一面“镜子”,如何把数据的价值从“后视镜”(做历史分析),转变为“望远镜”(看方向)、“放大镜”(精细化操作)、“显微镜”(发现问题真相),关键是看企业的数据体系的完整度(木桶的短板)和数据能力的应用程度(水位的高低)


(一)以全局视角的驱动力


站在全局视角,我们提出了“全域数据观”的“一张蓝图、3+1数据体系、6大核心能力”的数据能力体系框架,如下图所示。



一张蓝图:

通过自顶向下的设计方法,统一规划和设计数据驱动业务发展的战略目标和价值,推动企业整体数字化经营,从而体系化解决原有数据体系分散建设的问题。


三个驱动:

采用存算分离、多引擎算力融合架构的算力驱动,打造企业级数字基建;构建“采建管用”的全域数据体系和“盘评治享”的全链路治理体系的数据驱动,沉淀企业高价值数字资产;运用“人货场”数字化运营体系的价值驱动,助力数业融合的数字应用。


一套机制:

工作目标管理、组织架构支撑及数字人才体系等一系列运营保障机制。


六项能力:

通过“3+1”数据体系的建设,帮助金融机构在增效率、降成本、提质量、敏创新、强团队、建生态等六项核心能力上得以提升。


(二)以分层视角的核心力


在数据能力体系中,“3+1”数据体系是核心能力,采用分层架构详细设计了数字基建、数字资产和数字应用三层核心架构,以及运营保障机制。



1.数字基建

数字基建是数据计算、存储的算力基础设施。针对当前海量数据算不动、效率低、成本高、难运维等问题,新一代大数据平台建设通常遵循以下五大法则,分别是:


  • 具备云原生扩展的多种计算模式融合
  • 支持多层智能化的分布式存储层
  • 统一调度和弹性伸缩的资源池管理
  • 异构计算引擎的工作负载协同
  • 大数据SRE智能运维能力


2.数字资产

数字资产通过全域数据资产建设、智能化数据分析手段以及多样数据服务能力,实现企业数据的管理闭环,并打通各层级与多业务间的数据壁垒,实现数据的统一整合与运营,提高企业数据建设和应用的效率。


全域数据“观”提出数字资产建设 4项核心能力+4项扩展能力。




4项核心能力:通过“采、建、管、用”建设数据资产体系:


“采”—— 企业数据资产全域采集,核心能力在于“全域和时效”


全域是解决数据完整性问题,时效是解决数据实时性问题,同时多样数据源为了确保与企业内部数据融合,还需要规范化和标准化的管理机制保障。


随着经营管理决策对数据时效性的需求,对数据全面性、实时性也提出了较高要求,如基于埋点数据的采集和分析可大幅提升客户经营决策能力。


“建”—— 敏捷构建企业级核心数据资产,核心能力在于“敏捷和复用”


敏捷解决的是数据模型研发效率低的问题,复用解决的是公共层、萃取层建设的数据资产共享问题。


我们在进行数据模型分层体系、数据公共层模型体系、企业级指标和标签体系建设的同时,引入模式设计即开发工具提升数据研发效率和质量,并通过指标和标签体系沉淀企业高价值数据资产,引入数据连接(数据+算法+服务)技术实现多端设备互联互通,打通数据资产与业务通道,实现数业深度融合。


“管”—— 打造精品数据资产管理及运营体系,核心能力在于管“好”资产


数据资产管理是金融机构一直不断持续优化的能力,构建全域资产知识图谱,摸清家底;通过资产价值健康度评估,提升资源利用效能;借助源系统数据研发工具与数据治理平台工具集成,实现全链路数据治理体系升级,实现高价值数据资产的“金融活水”作用。


“用”—— 数据产品打通数据应用“最后一公里”,核心能力在于“价值和体验”


数据产品和服务建设目标是全面掌握企业数据资产、降低用数门槛、提升用数体验。


同时,推动企业内部形成人人都是分析师的文化氛围,为此,我们提出三个关键方向:

一是数据产品化将成为数据资产从资源态到服务态的重要载体;

二是数据产品经理将成为数据人才建设中的“灵魂人物”;

三是一站式数据工作台将加速推动金融机构的数据平民化进程。



4项扩展能力:我们还需要通过“盘评治享”打造新一代数据治理体系,持续管理“好”企业的高价值数据资产。


“盘”—— 全面了解家底


数据资产盘点,明确数据资产范围,自动化构建数据资产目录,盘点数据资产内容,打造数据资产标签体系,通过可视化和智能化手段,支持各类用户快捷高效、便捷查询和了解数据资产情况,摸清底数。


“评”—— 评估资产价值


数据资产评估,针对资产价值、效能、质量、活性和安全等不同维度建立对数据资产的评价方法,以量化的方式描述和评价数据资产,便于数据生产者、数据管理者和数据消费者更准确的了解数据资产的状态。


“治”—— 提升数据质量


数据资产治理,从数据资产可用性的角度提升数据质量。新一代数据治理机制的关键点在于“全链路数据治理”,抓住数据生产源头,强化业务系统元数据管理,从源头消除数据标准不落地问题,推动治理工作迁移,将规范设计嵌入研发体系,形成全链路数据治理能力,从而解决设计与运行、线下与线上两张皮的现象。


“享”—— 服务与共享


数据资产服务与共享,以数据资产在企业内部的充分流动、高效共享,实现用户端侧价值为首要目标,具体工作围绕着数据产品化、服务计价和服务运营几个方面展开。


3.数字应用

借用“消费者运营”的理念,贯穿客户全生命周期、围绕“人-货-场”三个核心要素的数字化运营体系,建立业务通、数据通、技术通的跨业务单元和技术团队的高效协同能力。



“人”— 客户经营数字化


客户经营旅程数字化是用数字化能力实现从潜客线索初筛到获客开户再到业务培育最终实现忠诚沉淀的过程,从一条完整链路的客户经营视角,实现对客户陪伴服务的过程。


通过数据驱动业务流程,优化决策分析,与客户形成互助共赢的紧密关系,真正培育出金融机构的长期粘性客户。


“货”— 产品运营精细化


结合客户经营管理的数字化能力,形成不同客群、不同阶段、不同需求的个性化产品精细化运营体系。


采用数据分析算法,通过产品组合提供相应产品定价和推广建议,客户可一键完成购买的交易过程,同时跟进市场和需求变化情况动态调整,并建立跨业务条线的合作模式,实现产品服务精准、客户服务专享等体验的大幅提升。


“场”— 渠道生态多样化


构建数字渠道核心思想是构建用户承接渠道矩阵,连接用户教育到用户转化,形成和客户的多层次连接。


通过多样化的渠道建设,解决金融服务“最后一公里”难题。主要包括三层:

一是新媒体流量运营,打造品牌心智;

二是可交互渠道,加深用户理解产生粘性;

三是自有渠道,提供全链路金融服务。


每层场的定位和运营策略都有差异,结合客户分层,通过不同的“场”实现“人和货”的协同。


4.运营保障机制

运营机制是数据体系持续发展、数据价值逐步释放的关键驱动力。它是通过战略及目标、组织及制度的制定和拆解,从数据资产及运营、数据平台工具及运营、数据产品及运营的维度分别建立配套工作目标、组织架构、数字人才等一系列运营保障机制。


(三)以业务视角的价值链


数据驱动下企业数字化经营的价值体现尤为重要,需要多部门密切配合。


如精准获客、产品定价、风险识别、数据管理和平台建设等方面,是分别站在金融机构的前台、中台、后台部门,以及数据管理和科技研发部门的不同视角,通过数据能力体系的建设“看”企业经营管理能力的提升。


业务前台部门围绕人货场数字化经营理念,进行潜客精准识别度;业务中台部门结合客户分层价值分析,建立精细化产品定价体系;业务后台部门通过审计数据挖掘,主动预警人为操作风险,防患未然;数据管理部门通过数据的全链路治理,提升数据质效;科技研发部门通过技术能力升级,增强算力,增效降本。数据体系化建设将不断驱动金融机构迈向数字化企业。




04 金融数据能力建设的成功要素


Capital One创始人曾说:“我们不是一家银行,我们是一家以数据作为基础战略的公司,只不过我们公司第一个成功的产品碰巧出现在银行业”。数据能力是未来金融企业的第一能力,数据能力越强的企业,边际效应越强、业务扩展越轻松、产品服务越精细化。


(一)关键能力和价值方向


金融行业的数据体系建设应注重以下价值方向:一是降低数据建设成本,二是进行全链路数据集成与治理,三是实施一站式数据研发和服务,四是满足多样化的数据服务体验,五是强化数据产品经理的培养与塑造。



(二)关键路径与成功要素


一是通过数据体系评估,形成适合自身发展的数据体系成熟度评估模型,并制定企业数据战略;


二是准确把握数据中台模型与数仓模型的关键差异,合理选择最佳数据模型。传统数仓是数据驱动,周期长,但模型稳定;数据中台是业务场景驱动,见效快,但模型变化频繁;


三是充分考虑传统数仓的演进路径,从技术架构、数据模型、平台兼容性、业务对数据需求等评估,选择数仓平迁、数仓升舱或数据中台重构方案,在迁移中还应考虑语法兼容性、工具便捷性,确保成本和风险双降,服务效率和价值双升。


四是建设统一数据服务平台,提供统一门户支持数据的资产分类和数据管理,提供稳定的、高效的、安全的全域数据服务;


五是强化全员的数据责任意识,通过治理体系优化,明确相应的责权利;


六是构建多维度企业数据资产共享,释放数据价值。

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
2月前
|
关系型数据库 MySQL 数据挖掘
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
DTS 作为阿里云核心的数据交互引擎,以其高效的实时数据流处理能力和广泛的数据源兼容性,为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。阿里云数据库 SelectDB 通过与 DTS 联合,为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务,一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库,迁移或同步至阿里云数据库 SelectDB 的实例中,帮助企业在短时间内完成数据迁移或同步,并即时获得深度洞察。
阿里云 SelectDB 携手 DTS ,一键实现 TP 数据实时入仓
|
2月前
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
110152 118
阿里云DMS,身边的智能化数据分析助手
|
3月前
|
监控 算法 机器人
5 天学会阿里云 RPA:金融行业应用
金融行业一直处于技术创新的前沿,以提高运营效率、降低风险和提供更好的客户体验。阿里云 RPA(机器人流程自动化)的出现为金融机构带来了全新的智能自动化解决方案,帮助他们在竞争激烈的市场中保持领先地位。
|
3月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
733 2
|
2月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
2天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175316 348
|
2月前
|
存储 数据采集 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
随着业务在金融、保险和商城领域的不断扩展,众安保险建设 CDP 平台以提供自动化营销数据支持。早期 CDP 平台依赖于 Spark + Impala + Hbase + Nebula 复杂的技术组合,这不仅导致数据分析形成数据孤岛,还带来高昂的管理及维护成本。为解决该问题,众安保险引入 Apache Doris,替换了早期复杂的技术组合,不仅降低了系统的复杂性,打破了数据孤岛,更提升了数据处理的效率。
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
|
4月前
|
大数据 数据管理 云计算
瓴羊联合阿里云、大数据技术标准推进委员会发布《基于数据资产全生命周期估值与实践报告》
瓴羊联合阿里云、大数据技术标准推进委员会发布《基于数据资产全生命周期估值与实践报告》
421 0
瓴羊联合阿里云、大数据技术标准推进委员会发布《基于数据资产全生命周期估值与实践报告》

热门文章

最新文章