带你读《2020阿里云金融数据中台报告》

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 带你读《2020阿里云金融数据中台报告》

第一章数据中台——金融业转型升级新引擎

在数据驱动业务的时代,对数据资产价值的挖掘、应用能力成为了金融机构间的竞争关键。原有的金融数据系统已无法很好地满足金融机构提升业务数字化水平的需求,数据中台的出现,为金融业转型升级提供了"新引擎"。


1、数据中台的核心价值

大数据技术的不断更新、迭代,推动金融机构数据系统不断发展演进。在以往,金融机构建设的数据库、数据仓库、数据湖等数据系统,以支撑业务发展,但在全新的市场环境下,前述数据系统存在的数据割裂、难复用,使用难等短板不断暴露,已无法满足金融机构对数字价值挖掘的需求。

在此背景下,数据中台受到越来越多金融机构的关注。数据中台与数据库、数据仓库等系统存在根本性差别,其与金融机构现有数据架构也不存在竞争关系,不会导致重复建设的状况发生。

image.png

图1:数据库、数据仓库、数据湖的功能特性


数据库、数据仓库、数据湖与数据中台的区别:

1)数据库、数据仓库、数据湖三者从技术角度来看其主要功能在于数据存储和管理,具体来说,数据库以“读”为核心能力,数据仓库以“写”为核心能力,数据湖是以“算”为核心能力。

2)数据中台不是数据库或数据仓库,但其包含了数据库、数据仓库、实时计算、Hadoop、流计算等所有的技术能力,是一个可以完整地面向所有员工的应用级数据体系。

3)同时数据中台的建立是站在用户视角,从整个企业全局视角出发去设计,而过去的数据系统建设更多的是站在自身视角、站在企业推出的产品的视角。

4)数据中台是与业务系统紧密链接,是由业务驱动、运营驱动的体系,数据中台需要业务与数据的高度协同,体现业务对数据使用的真实诉求。数据中台与业务系统不是单向关系,而是一个双向耦合系统,形成对业务的自动驾驶型的指导能力,数据中台将成为新兴数字化业务的“核心发动机”,而不是离线数据平台。


2、金融数据中台建设浪潮正在形成

当下,银行、保险、证券等机构都展现出了强烈的数据资产挖掘需求,与之相应的,金融机构原有的数据管理体系仍无法实现将数据真正变成企业级的资产来服务于各类业务需求。

金融机构现有数据系统主要存在以下几个方面的问题:

1)数据存储分散,各个业务部门数据标准不统一,无法形成有效的系统管理;

2)各部门数据无法打通,“部门墙”现象严重,数据重复建设造成资源浪费;

3)数据系统无法对业务形成有效决策支撑,实时、快捷、智能型的数据能力无法实现。

因而,以“打破部门界限、构建数据沟通渠道、挖掘数据业务价值”为核心功能的数据中台,成为了寻求转型升级的金融机构的重点关注对象。


“数据中台”概念在2015年伴随着阿里巴巴集团“大中台、小前台”战略被首次提出,并在2019年成为金融行业的关注重点,引发资本热潮和多家创业企业布局。

进入2020年,数据中台热度不减,不过业界也从最初“狂热”回归理性,需求方与技术方也开展了更为高质量的良好互动。在金融行业,包括银行、保险、证券、消费金融等机构,也开始加大对数据中台的关注度和布局力度,数据中台的真正内涵和价值正在不断被人们认识。

数据中台正在成为各大金融机构数据体系建设的方向。变数据为资产,建立覆盖全机构的数据平台,为整个企业所有员工的业务需求提供支撑,是金融业正在形成的趋势。

2015年至今,包括招商银行、民生银行、农业银行等头部银行机构以及保险、券商、消费金融等非银金融机构都已经开展了数据中台的相关布局,部分金融机构甚至将数据中台建设提升到了机构战略高度。

其中,民生银行2018年在“民营企业的银行、科技金融的银行、综合服务的银行”战略指导下,制定了“技术+数据”双轮驱动的改革方案,经过这两年的自主探索、自主研发,形成由4大功能体系、12个子系统构成的金融数据中台体系。2020年6月份,农行发布《中国农业银行信息科技近期发展规划(2020-2021年)》,提出“iABC”战略,推进包括数据中台在内的六大中台建设。


3、数据中台建设体系具有可复制性

数据中台建设是一个庞杂的系统工程,包含了技术、产品、方法论,以及人才建设、组织变革升级等要素,更重要的是需要由“一把手”驱动。金融机构建设数据中台,在财力人力的投入之上,还有两个关键的要素:

1)顶层领导者的决心:数据中台建设是一个系统性工程,且需要一定周期才能见到明显的效果,因而企业领导必须有战略定力和决心支撑,才能带动整个机构的变革方向。

2)组织的升级变革:数据中台的建设将会带动整个组织的文化、管理及业务等的变革。


与之相应的,数据中台的建设将给金融机构带来以下效果:一是业务层面的降低成本,提升效率;二是能力层面,每个业务部门拥有独立的应用数据能力;三是在技术能力、业务能力提升的基础之上,带动组织文化、组织阵型的变革。

数据中台的建设不需要推翻金融机构原有的数据系统。在金融与互联网高度融合的背景之下,大型互联网平台与金融机构的数据系统建设所走过的路径高度相似,经历过从数据库到数据仓再到数据湖等数据系统的迭代,期间遇到的数据问题也类似。因而,在不同业态实践过的阿里巴巴数据中台方案,可以被复制到其他金融机构体系,借助技术工具和产品,实现快速的跃迁和融合,同时,在技术之上,结合行业经验人士参与建设,可以实现在原有数据系统之上建设、延伸出全新的东西,形成自有的数据中台。


第二章行业先行者——阿里巴巴数据中台之道

阿里巴巴在2015年启动“大中台、小前台”战略,“数据中台”概念首次被正式提出。而在此之前,阿里巴巴在对数据中台的探索方面已经有了数年的积累。阿里巴巴数据中台是为了应对集团众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的,它既要满足业务部门日常性的多个业务前台的数据需求。

基于先发先行经验,阿里巴巴数据中台发展成为业内的实践标杆,其发展过程中三个关键的节点,分别为2013年登月计划的启动,2014年集团数据公共层建设的启动以及2015年中台战略的启动。

阿里巴巴认为,数据中台是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。核心内容包括数据中台方法论、工具、组织。


2:阿里云数据中台体系

image.png

首先,在方法论层面要有全局观统领,单独谈局部的技术、系统或结构,都不能实现真正的数据中台建设;其次,必须将思想产品化,形成一个真正普适性的工具或产品;第三,数据中台的建设不是一个数据系统项目,而是组织文化的变革,是真正把数据变为资产的一种变革。阿里巴巴数据中台目前正通过阿里云将能力对外输出。

阿里云数据中台能够帮助银行、保险、证券等金融机构把数据智能等能力嵌入到业务流程之中,赋能组织和员工,进而实现金融业务增长和创新,让数据以资产化的方式为业务的增长而赋能,从而加速整体数智化转型进程。金融数据中台打破了金融机构的部门墙、数据墙,让数据真正变成全局性资产,并让所有员工都能在工作中基于数据智能进行分析、预测以及决策。

阿里云数据中台的核心价值主要体现在四个方面:降本、提效、业务增长、组织变革。其中,前两个价值——降本、提效,是传统数据体系都能实现的价值,而业务增长与组织变革是基于阿里云数据中台实践所形成的独有优势。


3:数据中台的四个核心价值

image.png


第三章阿里云数据中台赋能金融行业


金融数据中台经过多年在多业务中的实践探索,已形成一套成熟的赋能体系。阿里云数据中台对外赋能过程中,除了输出方法论+产品+技术,还输出阿里生态的多种能力,包括理财业务数字化运营经验,智能风控&营销经验,全链路数据资产管理经验等,帮助金融机构实现全方位的升级发展。


1、阿里云数据中台的优越性

1)阿里云数据中台拥有完备的方法论体系和实践效果支撑,在满足原有数据系统固始的降本提效功能之上,能为金融机构带来业务上的增长并赋能组织优化升级,因而与众多金融机构的需求达成一致。同时,阿里云数据中台体系从理论到技术、产品,均能实现快速的迁移、落地;

2)阿里云数据中台方案在方法论、技术、工具之上,融合了阿里云平台多种能力以及阿里巴巴集团自身多年实践经验,并使之成为一个真正通用的商品,可以快速实现从1N的复制,免去金融机构重复的试错过程。


2、数据中台构建的方法论体系

阿里云数据中台核心内核是OneData体系,即数据中台构建的方法论体系总称,包括数据构建管理的OneModel,实现数据融通连接的OneID,再到提供统一数据服务的One Service,贯穿于整个数据研发流程中并且通过工具实施落地,帮助企业高效建设及管理数据。

4:阿里云数据中台构建方法论体系

image.png


3、阿里云金融数据中台的核心能力

阿里巴巴数据中台的核心能力体现在两大方面,一是其核心产品矩阵,包括跨多段全域应用分析平台Quick A+,智能数据构建与管理系统Dataphin,数据可视化分析平台Quick BI,智能用户增长产品Quick Audience;二是其积累下来的业务经验和能力,包括理财业务数字化运营经验,智能风控&营销经验,全链路数据资产管理经验等。


阿里云数据中台核心产品矩阵:两横两纵

两横包括:1)跨多段全域应用分析平台Quick A+,汇集不同数据源的数据,实现对不同数据库的接入、不同数据库的支持和数据的传输。2)智能数据构建与管理系统Dataphin,对数据进行建模、加工、计算、分层治理......这两部分加起来成为横向的数据平台的核心能力。

两纵包括:1)数据可视化分析平台Quick BI,即BI工具,是阿里云在分析领域独特的分析产品,可以实现随时随地智能分析。Quick BI去年进入了Gartner 魔力象限,成为中国云厂商里面第一款进入到Gartner魔力象限BI的产品。2)智能用户增长产品Quick Audience,其主要功能是实现“全方位洞察,多渠道触达”的增长闭环。

三类业务经验和能力:

1)金融理财业务数字化运营经验

目前,不少金融机构在线上运营方面投入大量资源,但运营效果未达预期。以APP的开发运营为例,金融行业每年在APP的开发、维护、运营等方面投入的成本超千亿元。但其运营效果并未达预期,主要表现为:

·APP活跃度呈现头部集中效应;整体打开率不足50%(历史以来);

·获客成本高,银行二类户获客500-800/个;券商双录户1200-1500/个;

·线上运营团队处境尴尬:仅是服务提供者;是成本中心而非利润中心。

阿里云数据中台在金融理财业务领域的数据化运营经验,提出相应的解决方案,帮助金融机构实现业务数据化,让数据变成生产资料支撑业务。


方案包含三个核心步骤:

1)明确业务阵地,包括服务ICON,焦点产品定位、开户流程等,根据业务目标进行运营规划,吸引用户。

2)有效实现转化,其中包含两个关键点:一是由上至下定义解决的业务问题和能力;二是业务流程各部分可解耦,解耦的目的是让产品更好地适配各机构的底座以及预算。

3)发挥实时能力,根据客户需求变换,挖掘更多服务的可能。

该方案将带来两方面主要效果:其一是提升线上业务交易成效,并大幅节省APP运营成本。其二是形成一套数字化运营工具来提升线上运营的效率,包括完成积木化搭建,未来可以实现服务的“千人千面”。实现数据的自动化获取、自动化落库、自动化展示。

2)风控&营销经验

在金融行业,风控体系是对业务赋能最为关键的环节,在市场需求变化和竞争加剧的背景之下,金融机构亟需依靠有限的数据资源提升风控系统的效应效率。随着大数据、人工智能、云计算等技术手段在风控体系的应用,区别于传统风控体系的智能风控体系已经形成,两者之间主要在数据层面、模型层面、技术层面存在差别。


表:1传统风控体系与智能风控体系的差别 传统风控体系

智能风控体系

数据层面

数据来源以行内信息、人行信息为主,特征数量少,以基本信息为主的强变量为主,数据关联度低

基于行内外多维度、线上线下数据,数据特征量大,强弱变量信息均有,数据关联度高

模型层面

人工审核,专家经验为主

利用决策引擎,结合决策、模型体系,自动化分析为主,人工审核为辅

技术层面

技术应用有限,以传统技术IT为主

综合运用互联网、大数据、人工智能、云计算、区块链等信息技术手段



阿里云结合智能技术基于行内外或机构内外的数据,结合线上线下有关联或强的有关变量为风控赋能,形成了智能风控体系。目前,阿里云智能风控系统已为阿里巴巴集团生态内外多家机构进行赋能。

阿里云智能风控体系架构基于数据层实现对数据的整合治理,应用于多个业务应用场景,像反欺诈、贷中监控、催收等。

阿里云智能风控体系赋能金融机构的重点在两个方面:

1)基于数据中台对整个金融机构的数据做标准化管理;

2)通过智能化的决策平台,为业务提供智能决策分析与服务,使风控、业务真正实现智能化。

3)全链路数据资产管理经验


阿里云数据中台经过多年多种业务形态的实践,形成管理一套全链路的数据资产管理方法论。基于该套方法论的治理开放能力,每年为阿里集团节省各种资源以及实现数据管理的规范化。

该套方法轮的三个核心方向,包括多维度的资产分析、智能化资产治理、全链路资产应用。

数据资产管理已成为一个必然的趋势。阿里EB级数据资产管理的建设实践,为金融机构提供一个多维度的资产盘点与评估,跨多领域的资产治理闭环,同时提供多路径的资产查询以及资产服务,帮助企业能全面把握科学分析数据,清晰查看及快速使用数据,能实现数据的高效管理,释放数据价值。

同时,以阿里EB级数据探索实践为基础,以企业客户场景的洞察和分析为出发点,阿里云将全链路数据资产管理方法论沉淀到Dataphin当中,可以通过Dataphin产品帮助金融机构大大降低数据资产管理门槛,提高效率,释放人力。



4、数据中台建设的实施路径

阿里云基于自身的业务实践,提出了关于数据中台建设实施路径的建议,主要分为三个阶段:

5:数据中台建设实施路径

image.png


第一阶段:全局架构与初始化。

·基于智能大数据解决方案,配置和部署数据中台相关产品,同时全局架构数据中台,以便后续逐步做厚;

·基于数据中台全局架构,从数据向上、从业务向下同步思考,初始化数据采集、数据公共层建设,并初始化最关键的数据应用层建设;

·结合业务思考,直接解决业务看数据、用数据的最关键且最易感知的若干场景应用。

第二阶段:迭代数据中台深化应用。

·迭代调优数据中台全局架构,加配合完善数据中台相关产品套件;

·迭代调优数据中台的初始化数据汇集、数据公共层和数据应用层,持续推进数据公共层的丰富完善,并平衡数据应用层建设;

·深入业务思考,优化场景应用,拓展场景应用。

第三阶段:全面推进业务数据化。

·持续基于业务的数据中台建设;

·全面推进业务数据化,不断优化、拓展应用场景。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
7月前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
348 2
|
9天前
|
弹性计算 自然语言处理 数据库
通过阿里云Milvus和LangChain快速构建LLM问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
4月前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
198 0
|
7月前
|
弹性计算 自然语言处理 开发工具
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
|
存储 人工智能 关系型数据库
5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布
2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。
5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布
|
7月前
|
开发工具 git
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
494 1
|
7月前
|
分布式计算 关系型数据库 MySQL
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
AnalyticDB MySQL和Intel联合推出基于ADB Spark的训练营,ADB新用户参营完成任务即可获得价值100元的话费卡权益包!下图可扫码参加,也可直接点击链接前往 https://edu.aliyun.com/trainingcamp/355118
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
|
人工智能 Cloud Native 关系型数据库
阿里云数据库国际峰会首度在印尼召开,AnalyticDB向量引擎支持定制AIGC应用
阿里云瑶池数据库面向海外市场正式升级云原生一站式数据管理与服务平台
|
存储 机器学习/深度学习 人工智能
基于 阿里云 ACK 搭建开源向量数据库 Milvus
生成式 AI(Generative AI)引爆了向量数据库(Vector Database)市场,基于大模型的各种应用场景会需要使用到向量数据库。 其中,Milvus 是一个高度灵活、可靠且速度极快的云原生开源向量数据库。它为 embedding 相似性搜索和 AI 应用程序提供支持,并努力使每个组织都可以访问向量数据库。 Milvus 可以存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的十亿级别以上的 embedding 向量。 本文介绍在阿里云ACK上部署Milvus并且通过attu访问的步骤。
3409 0
|
SQL 存储 DataWorks
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述
《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——一、产品概述