以Dataphin为例,看阿里云数据中台如何助力金融行业数智化转型

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
简介: 阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index


  今年正值三年发展规划的收官之年,包括银行、证券、保险在内的金融机构的数字化转型的紧要性进一步凸显。

  阿里巴巴云上数据中台负责人王赛在今天举行的2021阿里云金融数据智能峰会上透露,阿里巴巴数据中台建设的经验,或许可以给金融企业数智化转型带去一些借鉴。

111.png

阿里巴巴云上数据中台负责人 王赛


  阿里巴巴数据中台建设的6道经验

  2015年,阿里巴巴正式提出数据中台战略,这也是数据中台这一概念在国内首次亮相——但在更早之前,阿里巴巴其实就有动作。

  王赛表示,早在2011年,阿里巴巴就重新梳理并重建了内部数据团队,以“业务版块+分析维度”为架构构建数据中心。2013年,统一的数据服务中间件OneService正式诞生,经过深度加工后的数据可以由OneService为前端各业务提供统一的数据服务。

  在他看来,阿里巴巴数据中台建设绝不是一簇而就,而是面对阿里巴巴集团内部复杂场景以及多样需求,必须完成的一条数智转型通路。

  这些场景和需求可以归纳为六大类,分别是:数据质量与安全、数据价值、产品工具沉淀、成本管控、组织与运营、质量与考核。

  数据质量与安全主要集中于四方面,首先是一致性,面对同一份数据,各个业务的定义口径不一致,这为后期开发、分析、应用带来极大困扰,因此数据中台首先要解决的就是指标标准化定义,并在此基础上实现代码总动化构建和数据结果产出;其次,是数据资产深度问题,通过数据深度融合与打通,数据中台能够为业务一线员工提供全方位的市场信息,并进行价值评估;再次,是保障数据及时性,通过数据运维基线管理和移动办公协同,数据中台能够保证业务部门及时获取多维过程及结果数据,即便是在移动办公场景,也能保证可实时查看相关数据;最后,是聚焦数据流通安全,核心要解决数据安全审批权限定义和在保障数据安全的基础上较少审批工作量两项问题,阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上,实现数据智能审批,通过可信模型构建和风险量化,让智能流程代替繁琐人工。

  另一方面,数据价值主要体现在通过数据赋能,帮助平台增长、商家成长和员工提效。

  值得注意的是,阿里巴巴数据中台建设的过程当中衍生出非常丰富的产品矩阵,用以应对繁杂的业务场景和个性化的岗位需求,如针对双11场景的媒体大屏、面向管理层决策的分析类数据产品等等。

  同时,积极建设数据人才培养体系,成立“数据委员会”让各业务数据岗位员工可以形成高效联动与信任,并凝炼、传播科学有效地数据文化。

  而在整个数据中台建设的过程中,王赛强调,“我们还提炼出数据中台价值地显性化表达,从用户价值与体验、资产沉淀、经营等多方位视角,来反复验证KPI、人员及预算地设定,这是一个动线过程。”

 通过阿里云全面输出数据中台能力

  阿里巴巴数据中台在历经多年内部实践后,于2018年正式通过阿里云全面对外开放数据中台能力,迄今已在金融、零售、政务、互联网等行业成功落地。

  阿里云新金融&互联网事业部总经理刘伟光早前在接受媒体采访时表示,对企业来说,阿里云数据中台具备两大独有优势,“首先是工具的丰富性,阿里云数据中台产品集合了市面上所有的工具,从工具层面,从数据处理层面,到上层应用层面,到数据的使用层面,到BI层面,到决策层面,可以说面面俱到。”

222.png

阿里云新金融&互联网事业部总经理 刘伟光


  目前,阿里云数据中台已经形成以Dataphin、Quick BI、Quick Audience等产品为主的核心产品矩阵。

  以Dataphin为例,作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出,它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

  同时,Dataphin提供多种计算引擎支持及可拓展的开放能力,可以适应各行各业的平台技术架构和个性化诉求。

  聚焦金融行业,作为数字化起步较早的行业,银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短,对于数据使用积累了一定的经验,然而依旧难以避免数智转型地阵痛。

  核心体现在数据标准问题、数据质量问题、需求相应问题、成本资源问题四方面:

  数据标准问题:烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发;历史上不同业务系统逐步迭代上线,相同对象属性编码不一致等问题突出;

  数据质量问题:重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高;

  需求响应问题:烟囱式开发周期长、效率低,面向应用的服务化不足,导致业务响应速度慢,业务不满意的同时技术又觉得没有沉淀与成长;既懂业务又懂数据的人才不足,需求理解到开发实现涉及大量沟通,服务效率较差;

  成本资源问题:烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。

333.png


这也和阿里巴巴数据中台建设时期所面临的难点不谋而合。

  阿里巴巴通过实践经验提出的数据治理方法论,能够帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务。

  正因如此,Dataphin除了大数据处理全链路涉及到的数据集成、开发、发布、调度、运维能力,同时还将为企业提供数据规范定义、逻辑模型定义、代码自动化生成、数据主题式服务能力,高效地完成好数据的构建。

  也正是基于Dataphin产品的能力,财通证券打通既有多个系统数据,实现数据及时接入及标准统一,整合加工处理后,基于市场形态完成包括“金融属性”“产品类型”等在内的300多个数据标签。

  数禾科技也在长达7个月的共创共建后,完成传统数仓体系地重构升级,统一数据资产管理平台,同时借助项目全面梳理了公司核心业务流程,将所有的业务过程及背后对应的数据串联起来,统一一套信息系统,每个业务过程在信息化平台都能看到具体的数仓表、指标、指标当前的值、环比同比等信息,一旦这些指标出现异常,就可以快速自动化归因,定位问题环节,创新性建立了数据运营模式。

  数禾科技大数据负责人万鹏说道:“阿里云数据中台自带One Service数据接口服务,之前我们自研的数据平台,面向线上业务提供数据接口的链路太长太复杂,目前通过阿里云数据中台产品Dataphin构建数据输入输出的链路既通畅又迅速,产品本身自带集成通道。”

  而除了Dataphin,阿里云数据中台还在全域运营、数据可视化分析等多个领域,面向金融机构提供专业产品服务。

444.png

  大数据的本质是数据的融合,阿里云数据中台把原本各自孤立的数据互相关联、融合,通过抽象、加工构建数据资产类目体系,从而赋予数据更深层次的语义和价值,洞察事物的本质。

  过去一年,它在技术能力上已然完成重大升级——率先实现“湖仓一体”,通过协同工作架构,引领下一代大数据处理平台的演进方向;通过融合图计算、时序计算、隐私计算等,大幅提升平台数据智能能力,帮助客户进行智能化决策。

  而在三年发展规划临近收官的这一年,数据中台必将给予金融行业的数智化转型更多可能。




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

未标题-1.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
7月前
|
关系型数据库 MySQL Apache
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
**ADB MySQL湖仓版能够平滑迁移到湖仓**,阿里云提供了相应的迁移工具和服务来简化这一过程。
346 2
|
7天前
|
弹性计算 自然语言处理 数据库
通过阿里云Milvus和LangChain快速构建LLM问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
38 3
|
4月前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
195 0
|
7月前
|
弹性计算 自然语言处理 开发工具
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
本文介绍如何通过整合阿里云Milvus、阿里云DashScope Embedding模型与阿里云PAI(EAS)模型服务,构建一个由LLM(大型语言模型)驱动的问题解答应用,并着重演示了如何搭建基于这些技术的RAG对话系统。
通过阿里云 Milvus 和 LangChain 快速构建 LLM 问答系统
|
7月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
514 1
|
存储 人工智能 关系型数据库
5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布
2023 云栖大会上,AnalyticDB for PostgreSQL新一代实时智能引擎重磅发布,全自研计算和行列混存引擎较比开源Greenplum有5倍以上性能提升。AnalyticDB for PostgreSQL与通义大模型家族深度集成,推出一站式AIGC解决方案。阿里云新发布的行业模型及“百炼”平台,采用AnalyticDB for PostgreSQL作为内置向量检索引擎,性能较开源增强了2~5倍。大会上来自厦门国际银行、三七互娱等知名企业代表和瑶池数据库团队产品及技术资深专家们结合真实场景实践,深入分享了最新的技术进展和解析。
5倍性能提升,阿里云AnalyticDB PostgreSQL版新一代实时智能引擎重磅发布
|
7月前
|
开发工具 git
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
阿里云部署 ChatGLM2-6B 与 langchain+chatGLM
494 1
|
7月前
|
分布式计算 关系型数据库 MySQL
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
AnalyticDB MySQL和Intel联合推出基于ADB Spark的训练营,ADB新用户参营完成任务即可获得价值100元的话费卡权益包!下图可扫码参加,也可直接点击链接前往 https://edu.aliyun.com/trainingcamp/355118
阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡!
|
人工智能 Cloud Native 关系型数据库
阿里云数据库国际峰会首度在印尼召开,AnalyticDB向量引擎支持定制AIGC应用
阿里云瑶池数据库面向海外市场正式升级云原生一站式数据管理与服务平台
|
存储 机器学习/深度学习 人工智能
基于 阿里云 ACK 搭建开源向量数据库 Milvus
生成式 AI(Generative AI)引爆了向量数据库(Vector Database)市场,基于大模型的各种应用场景会需要使用到向量数据库。 其中,Milvus 是一个高度灵活、可靠且速度极快的云原生开源向量数据库。它为 embedding 相似性搜索和 AI 应用程序提供支持,并努力使每个组织都可以访问向量数据库。 Milvus 可以存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的十亿级别以上的 embedding 向量。 本文介绍在阿里云ACK上部署Milvus并且通过attu访问的步骤。
3406 0

相关产品

  • 智能数据建设与治理 Dataphin