阿里云刘伟光:4万字解读金融行业全域数据“观”(1)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 阿里云刘伟光:4万字解读金融行业全域数据“观”

image.png

作者:刘伟光,阿里巴巴集团副总裁、阿里云智能新金融&互联网事业部总经理,毕业于清华大学电子工程系。加入阿里云之前,在蚂蚁金服负责金融科技的商业推广和生态建设工作以及蚂蚁区块链的商业拓展工作;在企业软件市场深耕多年,曾经创建Pivotal软件大中华区分公司,开创了企业级大数据以及企业级云计算PaaS平台的市场先河。在创建Pivotal中国软件公司之前,刘伟光曾经担任EMC大中国区数据计算事业部总经理,并在甲骨文中国公司工作多年,曾经创建了Exadata大中国区的产品事业部并担任事业部总监。


“大风起于青萍之末,浪成于微澜之间”,用这句话来形容中国金融行业数据领域发展的历程颇为恰当。从2003年银行的数据仓库初建开始到今天整整20年过去了,相比其他行业,金融行业是真正完整地经历了数据仓库建设和大数据建设的两个十年周期;同时经历了从MPP技术到Hadoop大数据开源技术,再到存储计算分离的云原生数据处理技术;再到AI数据智能化的时代;从持续了20年的数据治理到今天的全域数据资产管理的数据中台化架构,关于金融行业的数据计算分析和智能化运营的探索从来没有停止过。但是如何在原有的数据基础和平台技术积累上完成全局视角的数据能力提升和技术体系的迭代,这是今天金融行业共同关注的话题,也是金融机构进入数字化智能时代的重要标志。


阿里云历时5年助力阿里巴巴集团完成了全域数据中台的建设,同时也在数据平台的建设和数据治理方面服务了众多不同类型的金融行业客户;数据智能化方面,在接触了近千家金融机构了解实际业务需求和现状后,激发了我们创造本文的热情与初衷,期望用更全面、更立体的视角去定义数据的技术和业务价值;站在全局视角去剖析数据生命周期的管理;站在云原生技术的视角去建议数据计算能力的未来布局。


同时全文解析了从底层数据计算到数据资产化的完整建设方法和路径;分析了当前数据平台如何从分而治之的建设模式和技术体系逐步演进到全局的数据智能化中台。关于数据领域研究,不仅仅是技术命题,我们也讨论了金融机构内部数据运营模式以及数据人才建设体系这些当前重要话题。


期待本文能够为金融机构不同部门在治理/应用/运营/计算/决策等诸多数据方面的工作,带来有价值的新发现,带来更多关于数据思想的碰撞。


国内各金融机构数据建设历时20年,然而不同阶段、不同技术体系构建的分而治之的数据平台,依然存在“数据底数摸不清、数据质量差、数据不好找、数据用不好、查询响应慢”等诸多问题,本文切入数据领域痛点,通过全局化的数据体系建设的分析视角,从数据的能力体系的建设方法、目标设定、成功标准,技术路线演进路径,数据运营机制等更全局的角度展开分析,期望推动行业实现数据驱动业务高质量发展的终极目标。




一、金融行业数据领域面临的困扰


数字化程度的一个重要标志是“数据与业务的关系”是否能从“跟随”(事后分析),到“伴随”(实时分析),再到“引领”(智能服务)。金融机构的数据能力已经出现了较大的分化,有些已经一骑绝尘、很好地引领业务的创新,有些则不仅不能跟随业务、甚至成为了业务发展的阻碍。


image.png


一是数据平台面临“跟不上”业务,而出现“掉队”的情况。从2017年到2021年,全国数据生产量增长了3倍多,实时数据、触点数据、过程数据、IOT数据、音视频数据等数据价值不断被深入挖掘,未来业务对数据规模、数据时效、数据类型、数据应用需求会更进一步放大,现有的数据架构开始出现“跟不上”业务而“掉队”的情况。


二是数据管理普遍存在“数据有标准、没有落地”“指标同义不同名、同名不同义”“数据处理与元数据两张皮”等局面。以监管报送为例,每年超千万罚单均与数据质量相关,提高数据质量已成为亟待解决的问题。


三是数据资产“缺盘点”。企业往往面临着“指标多、资产少”的困境,报表很多,但能够服务业务,且可复制、可重用的数据资产却很少。


四是数据服务“效率低”。目前大量金融机构用数取数还是传统模式,从需求到拿到数据需要数月时间,“响应慢”是用数部门普遍面临的痛点。


二、金融数据发展瓶颈的破题之术


未来的金融机构都是“数据驱动型”企业。金融服务正在从“大”到“小”到“微”,数据价值也从原来的“结果记录”发展为起到“实时精准制导”的作用。我们认为,数据能力像“水”,数据体系就像盛水的“木桶”,需要打造企业整体数据能力,为此,我们从顶层设计、业务价值、数据服务、数据治理、数智算力、数字人才等六个维度提出“企业数据能力建设参考模型”


image.png


首先,数据体系的建设需要从原来单点需求功能实现转变为自顶向下的总体规划设计,审视构建满足业务战略的数据能力,将“数据+业务+技术+组织”融为一体,有效联动,系统化建设企业级数据体系,全面提升数据能力。


其次,从业务目标上,让数据回归解决业务痛点的本源,将以人为驱动的业务经验总结出来,形成以数据驱动的业务动作;从数据服务上,通过一站式数据门户,转变用数习惯,从按需到交互式自助模式,让数据使用贴近业务;从数据质量上,数据生产源头的治理更加重要,将数据标准有效嵌入到数据生产到消费的各个环节,打造全链路治理能力;从平台算力上,海量近实时化数据和基于数据的智能决策的爆发式增长,需要数据平台架构向云原生化多算力融合能力的升级。


最后,重点需要数字化人才体系的打造,尤其是数据产品经理将成为企业数据领域洞察业务需求、沉淀数据产品、提升服务供给能力的“破局者”。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
43 0
|
数据采集 存储 弹性计算
阿里云刘伟光:4万字解读金融行业全域数据“观”(2)
阿里云刘伟光:4万字解读金融行业全域数据“观”(1)
123 0
阿里云刘伟光:4万字解读金融行业全域数据“观”(2)
|
算法 安全 搜索推荐
阿里云刘伟光:4万字解读金融行业全域数据“观”(3)
阿里云刘伟光:4万字解读金融行业全域数据“观”
134 0
阿里云刘伟光:4万字解读金融行业全域数据“观”(3)
|
运维 供应链 Kubernetes
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—永谐科技:一站式5G通信测试服务,数字赋能降低开发门槛
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—永谐科技:一站式5G通信测试服务,数字赋能降低开发门槛
130 0
|
数据采集 存储 运维
阿里云刘伟光:4万字解读金融行业全域数据“观”
阿里云刘伟光:4万字解读金融行业全域数据“观”
248 0
|
存储 边缘计算 人工智能
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—未来物联:“云边端”一体化解决方案挖掘数据价值
【年终特辑】看见科技创新力量 洞见时代创业精神—企业服务—未来物联:“云边端”一体化解决方案挖掘数据价值
135 0
|
移动开发 安全 搜索推荐
共码未来 | 多维助力企业扬帆起航,制胜海外
共码未来 | 多维助力企业扬帆起航,制胜海外
268 1
共码未来 | 多维助力企业扬帆起航,制胜海外
|
数据采集 算法 安全
蓝光地产:阿里数据中台带来巨大价值
对于更容易受政策影响的地产行业而言,只有在不同时期快速地对战略发展方向做出新定位,才有可能在大浪淘沙环境里面找到可以拼杀的地方。
1520 0
蓝光地产:阿里数据中台带来巨大价值
|
定位技术
【直播】数字经济下的传统行业何去何从?附《2020年中国乳制品行业数据中台研究报告》独家解读
4月27日,阿里数据联合亿欧智库打造“数字经济下,数据中台价值”专题分享活动,从乳制品行业切入,详解企业面对数字经济该何去何从,并引入时下最热话题“数据中台”,代入企业立场全面阐释“企业如何把握数字经济下的时代机会”。
568 0
【直播】数字经济下的传统行业何去何从?附《2020年中国乳制品行业数据中台研究报告》独家解读
|
数据采集 大数据
“网红”科技—数据中台,离你的企业有多远?
由阿里数据打造的智能数据构建与管理重磅上线阿里云-公共云,开启智能研发版本的公共云公测!在此之前,Dataphin以独立部署方式输出并服务线下客户,已助力多家大型客户高效自动化构建企业数据中台,不仅大幅度提升大数据研发效率,实现数据资产的标准化管理,更通过数据服务体系让数据智能驱动业务。
655 0
“网红”科技—数据中台,离你的企业有多远?
下一篇
无影云桌面