以Dataphin为例,看阿里云数据中台如何助力金融行业数智化转型

本文涉及的产品
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
智能数据建设与治理Dataphin,200数据处理单元
简介: 阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


  今年正值三年发展规划的收官之年,包括银行、证券、保险在内的金融机构的数字化转型的紧要性进一步凸显。

  阿里巴巴云上数据中台负责人王赛在今天举行的2021阿里云金融数据智能峰会上透露,阿里巴巴数据中台建设的经验,或许可以给金融企业数智化转型带去一些借鉴。

111.png

阿里巴巴云上数据中台负责人 王赛


  阿里巴巴数据中台建设的6道经验

  2015年,阿里巴巴正式提出数据中台战略,这也是数据中台这一概念在国内首次亮相——但在更早之前,阿里巴巴其实就有动作。

  王赛表示,早在2011年,阿里巴巴就重新梳理并重建了内部数据团队,以“业务版块+分析维度”为架构构建数据中心。2013年,统一的数据服务中间件OneService正式诞生,经过深度加工后的数据可以由OneService为前端各业务提供统一的数据服务。

  在他看来,阿里巴巴数据中台建设绝不是一簇而就,而是面对阿里巴巴集团内部复杂场景以及多样需求,必须完成的一条数智转型通路。

  这些场景和需求可以归纳为六大类,分别是:数据质量与安全、数据价值、产品工具沉淀、成本管控、组织与运营、质量与考核。

  数据质量与安全主要集中于四方面,首先是一致性,面对同一份数据,各个业务的定义口径不一致,这为后期开发、分析、应用带来极大困扰,因此数据中台首先要解决的就是指标标准化定义,并在此基础上实现代码总动化构建和数据结果产出;其次,是数据资产深度问题,通过数据深度融合与打通,数据中台能够为业务一线员工提供全方位的市场信息,并进行价值评估;再次,是保障数据及时性,通过数据运维基线管理和移动办公协同,数据中台能够保证业务部门及时获取多维过程及结果数据,即便是在移动办公场景,也能保证可实时查看相关数据;最后,是聚焦数据流通安全,核心要解决数据安全审批权限定义和在保障数据安全的基础上较少审批工作量两项问题,阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。

  另一方面,数据价值主要体现在通过数据赋能,帮助平台增长、商家成长和员工提效。

  值得注意的是,阿里巴巴数据中台建设的过程当中衍生出非常丰富的产品矩阵,用以应对繁杂的业务场景和个性化的岗位需求,如针对双11场景的媒体大屏、面向管理层决策的分析类数据产品等等。

  同时,积极建设数据人才培养体系,成立“数据委员会”让各业务数据岗位员工可以形成高效联动与信任,并凝炼、传播科学有效地数据文化。

  而在整个数据中台建设的过程中,王赛强调,“我们还提炼出数据中台价值地显性化表达,从用户价值与体验、资产沉淀、经营等多方位视角,来反复验证KPI、人员及预算地设定,这是一个动线过程。”

 通过阿里云全面输出数据中台能力

  阿里巴巴数据中台在历经多年内部实践后,于2018年正式通过阿里云全面对外开放数据中台能力,迄今已在金融、零售、政务、互联网等行业成功落地。

  阿里云新金融&互联网事业部总经理刘伟光早前在接受媒体采访时表示,对企业来说,阿里云数据中台具备两大独有优势,“首先是工具的丰富性,阿里云数据中台产品集合了市面上所有的工具,从工具层面,从数据处理层面,到上层应用层面,到数据的使用层面,到BI层面,到决策层面,可以说面面俱到。”

222.png

阿里云新金融&互联网事业部总经理 刘伟光


  目前,阿里云数据中台已经形成以Dataphin、Quick BI、Quick Audience等产品为主的核心产品矩阵。

  以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

  同时,Dataphin提供多种计算引擎支持及可拓展的开放能力,可以适应各行各业的平台技术架构和个性化诉求。

  聚焦金融行业,作为数字化起步较早的行业,银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短,对于数据使用积累了一定的经验,然而依旧难以避免数智转型地阵痛。

  核心体现在数据标准问题、数据质量问题、需求相应问题、成本资源问题四方面:

  数据标准问题:烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发;历史上不同业务系统逐步迭代上线,相同对象属性编码不一致等问题突出;

  数据质量问题:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高;

  需求响应问题:烟囱式开发周期长、效率低,面向应用的服务化不足,导致业务响应速度慢,业务不满意的同时技术又觉得没有沉淀与成长;既懂业务又懂数据的人才不足,需求理解到开发实现涉及大量沟通,服务效率较差;

  成本资源问题:烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。

333.png


这也和阿里巴巴数据中台建设时期所面临的难点不谋而合。

  阿里巴巴通过实践经验提出的数据治理方法论,能够帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。

  正因如此,Dataphin除了大数据处理全链路涉及到的数据集成、开发、发布、调度、运维能力,同时还将为企业提供数据规范定义、逻辑模型定义、代码自动化生成、数据主题式服务能力,高效地完成好数据的构建。

  也正是基于Dataphin产品的能力,财通证券打通既有多个系统数据,实现数据及时接入及标准统一,整合加工处理后,基于市场形态完成包括“金融属性”“产品类型”等在内的300多个数据标签。

  数禾科技也在长达7个月的共创共建后,完成传统数仓体系地重构升级,统一数据资产管理平台,同时借助项目全面梳理了公司核心业务流程,将所有的业务过程及背后对应的数据串联起来,统一一套信息系统,每个业务过程在信息化平台都能看到具体的数仓表、指标、指标当前的值、环比同比等信息,一旦这些指标出现异常,就可以快速自动化归因,定位问题环节,创新性建立了数据运营模式。

  数禾科技大数据负责人万鹏说道:“阿里云数据中台自带One Service数据接口服务,之前我们自研的数据平台,面向线上业务提供数据接口的链路太长太复杂,目前通过阿里云数据中台产品Dataphin构建数据输入输出的链路既通畅又迅速,产品本身自带集成通道。”

  而除了Dataphin,阿里云数据中台还在全域运营、数据可视化分析等多个领域,面向金融机构提供专业产品服务。

444.png

  大数据的本质是数据的融合,阿里云数据中台把原本各自孤立的数据互相关联、融合,通过抽象、加工构建数据资产类目体系,从而赋予数据更深层次的语义和价值,洞察事物的本质。

  过去一年,它在技术能力上已然完成重大升级——率先实现“湖仓一体”,通过协同工作架构,引领下一代大数据处理平台的演进方向;通过融合图计算、时序计算、隐私计算等,大幅提升平台数据智能能力,帮助客户进行智能化决策。

  而在三年发展规划临近收官的这一年,数据中台必将给予金融行业的数智化转型更多可能。




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
299 2
|
2月前
|
监控 算法 机器人
5 天学会阿里云 RPA:金融行业应用
金融行业一直处于技术创新的前沿,以提高运营效率、降低风险和提供更好的客户体验。阿里云 RPA(机器人流程自动化)的出现为金融机构带来了全新的智能自动化解决方案,帮助他们在竞争激烈的市场中保持领先地位。
|
2月前
|
弹性计算 自然语言处理 开发工具
基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
|
12天前
|
存储 大数据 关系型数据库
从 ClickHouse 到阿里云数据库 SelectDB 内核 Apache Doris:快成物流的数智化货运应用实践
目前已经部署在 2 套生产集群,存储数据总量达百亿规模,覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。
|
2月前
|
弹性计算 Cloud Native 安全
【阿里云云原生专栏】云原生与芬克斯:阿里云函数计算在金融行业的应用案例
【5月更文挑战第26天】阿里云函数计算在金融行业数字化转型中发挥关键作用,提供高可用、安全、灵活且成本效益的解决方案。通过事件驱动架构和弹性伸缩,适应业务波动,确保服务连续性。在实时风控系统案例中,函数计算实现低延迟评估,提升风控效率。此技术助力金融企业快速创新,增强市场竞争力。
332 0
|
2月前
|
存储 人工智能 文件存储
阿里云吴结生:云计算是企业实现数智化的阶梯
文章背景:阿里云副总裁、阿里云云存储产品线负责人吴结生在云栖大会的演讲中表示:“从云的角度来看,云的存力、算力,云上提供的数据管理的能力,大数据分析能力和人工智能计算能力,帮助每家企业从数据公司演进到数据驱动的公司。因此云计算是企业实现数智化的阶梯。”
|
2月前
|
开发工具 git
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
429 1
|
2月前
|
分布式计算 关系型数据库 MySQL
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
AnalyticDB MySQL和Intel联合推出基于ADB Spark的训练营,ADB新用户参营完成任务即可获得价值100元的话费卡权益包!下图可扫码参加,也可直接点击链接前往 https://edu.aliyun.com/trainingcamp/355118
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
|
新零售
重磅发布 | 阿里云发布《数据中台交付标准化》白皮书,促进数据中台高效高质量履约 原创 肖剑 阿里云研究院
编者按: 企业进行数字化建设是实现精细化运营和数字化创新发展的关键所在,数据中台建设是企业实现数智化转型的必经之路。在数据中台建设与交付过程中,存在专业度要求高、交付过程管控难、交付协同难等挑战,为应对这些挑战并实现数据中台交付,需要有一套数据中台交付的方法论、交付标准、交付工具和数字化交付工作台来指导、帮助企业和数据中台服务商来建设好数据中台,为企业的数字化转型提供数据咨询规划服务、数据资产建设服务和数据应用建设服务等,提升数据中台交付的效率和质量,降低规模化交付成本。
672 0
重磅发布 | 阿里云发布《数据中台交付标准化》白皮书,促进数据中台高效高质量履约 原创 肖剑 阿里云研究院
|
8月前
|
算法 安全 搜索推荐
阿里云刘伟光:4万字解读金融行业全域数据“观”(3)
阿里云刘伟光:4万字解读金融行业全域数据“观”
102 0
阿里云刘伟光:4万字解读金融行业全域数据“观”(3)

相关产品

  • 智能数据建设与治理 Dataphin