架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 本篇介绍了平台化交付关键要素以及数据治理和统一公共层建设。
潘碧玲(芳路) 阿里云新零售数据解决方案高级经理
具有10+年的企业信息化和咨询规划经验,从业经验覆盖传统咨询公司和互联网公司,具有综合的IT知识和企业业务知识。熟悉零售、流通、商业地产等行业,对会员和营销、供应链解决方案、财务业务集成等方案有较为丰富经验。对阿里数据中台、智能营销、业务中台等产品整体解决方案较为熟悉。

image.png

一、平台化交付关键要素

(一)核心要素是什么-建设数据资产管理平台关键要素

image.png

建设平台型数字化项目核心是在数字化触点持续建设(有数据可用)+大数据技术能力不断提升的基础上,建设数据治理端到端闭环体系、数据运营和应用体系。保证数据从采集到清洗(保证数据可用)再到资产管理(保证数据应用可持续可优化),最后到真正的数据应用价值化的完整链路(以数据驱动业务变革和优化)。

数据治理体系:

建立有规划、可落地,有执行、可评估,覆盖从组织优化到技术能力建设的全面数据治理体系。优化数据供应链的数据质量、数据服务体系、数据安全管理机制、数据管理规范和监控机制,为数据应用价值的呈现建设良好的数据基础。

数据最终的价值是要在数据应用过程中体现的,但是如果没有好的数据供给到数据应用层,那么数据价值是很难发挥作用的。尤其在算法类的项目,它对数据的沉淀和质量有着更高的要求,因为算法的项目,产出很多时候可能是一个黑盒的结果,在结果验证和算法优化的过程中,数据质量的干扰可能会让算法模型无法学习到真正的业务规律。

数据运营体系和组织建设:

数字运营体系建设是驱动数字化技术平台型项目建设的关键要素,建立数据运营体系和完成各执行组织的推广也是帮助企业最终实现数字驱动业务转型、创新场景实现的关键步骤。

运营体系建立是为了保障平台能够对外提供有价值、稳定的服务,也是保障数据管理平台可以不断支持创新业务的关键要素。

数据应用场景体系:

建立数据应用体系,让数据真正服务业务,帮助业务创新执行是数字化转型的最终目标。

(二)阶段怎么划分-项目交付关键链路

image.png

先构建基础能力,再建运营体系,最后建设应用体系,这是比较容易理解的平台架构整体的交付路径,但是在实际的项目中,通常会推荐把链路规划为影响力构建阶段、数据覆盖扩大和产品完善阶段、全面推荐数据智能应用阶段。

1、影响力构建
1)构建影响和普及概念:选择相关的业务板块,以更好的建立核心业务的基础应用和创新应用为契机展开技术平台和治理体系建设,让数据中台在企业内部形成一定的影响力。

2)巩固应用和总结机制:建立于全链路的数字化运营体系和数据治理体系,让后续的项目推进有规范可依,效果可评估可量化。

3)数字智能技术的探索期:探索数字智能的应用领域,基于数据基础较好的应用建立智能算法应用,算法场景通常具有较强的创新性,在影响力构建阶段能够起到较好的加持作用。

2、数据覆盖扩大和产品完善
1)扩大数据覆盖范围:覆盖企业各数据域,实现企业数据管理的统一、规范等管理目标。

2)不断完善数据产品体系:完善数据产品体系,让数据应用的交互友好型增加,数据应用便利性增强等,更好的支持基于数字化的业务创新探索。

3)构建数据运营体系:从组织和流程上实现数据支撑运营,驱动创新业务的探索。

4)数据治理体系落地:基于整体的规划和前期的执行落地总结,在全数据领域落地和执行治理规范等,保障数据价值呈现。

3、全面推进数据智能应用
持续基于业务需求的数据应用建设,从数据的基础应用(分析、流程支持、决策辅助、智能推荐等)全覆盖到数据智能应用范围不断延伸。

(三)为了支持数据价值层的数据应用,数据技术平台需要做什么

image.png

为了最终实现通过数据支持业务决策和创新优化,数据管理层需要做的相关任务总结。

1、大数据技术平台建设:能够处理互联网大数据,解决目前由于数据量太大,数据结构规范等原因造成的数据应用问题。

2、资产治理和运营体系:建立可持续的数据治理和运营体系,帮助数据应用建设的可持续。

3、可复用能力层建设:提供公共数据层,进行数据统一、规范存储,方便后续应用快速识别和应用。

4、友好的数据应用体系:平台输出的数据服务更友好,业务在对接应用的时候能改更便利。

在这四个板块中,数据治理和资产运营、可复用能力层建设两个板块整体的复杂度更高,需要更好体系化、标准化的交付方法推进,仅仅依赖产品能力是很难达到要求的。

二、数据治理和统一公共层建设

(一)为什么要做治理-数据应用场景交付中常会遇到的数据基础问题

image.png

过去在建设数据应用场景的过程中,发现大量的数据问题导致了数据应用场景的不可交付或效果无法达到预期的情况,这是数据治理在后续被作为重点建设事项推进的关键原因。

(二)和传统治理的差异性-希望咨询端到端可落地、产品可承接、机制可闭环

image.png

运营机制让治理可持续:和传统治理比较,现在的治理需要包含数据治理运营机制建立,数据治理所包含数据标准、安全规划等只是其中一部分。通过建立企业建立数据治理运营体系,让数据治理的工作在运营机制的帮助下持续运转。

治理效果可视化:对治理的全过程进行治理效果可视化的体系建立探索,让治理效果可评估可优化。

伴随技术平台交付落地:数据治理项目不是以产出数据治理文档为目标,基于业务的现状和技术产品的特点,整理持续的数据治理项目卡片(基于业务架构和技术架构梳理),把治理落地到技术平台建设和日常中是治理的关键。

端到端贯穿数据源到数据应用:将数据治理贯穿在从源系统治理到数据技术平台数据采集、同步再到数据开发、建模规范,通过对数据应用和服务进行规范化。

(三)数据治理领域框架

image.png
image.png

数据治理的框架主要包含治理和资产管理等板块,在传统数据治理的组织制度规范上,加入更多的资产管理板块需求和数据技术工具的应用规范和要求。例如:

数据治理整体框架和组织、流程机制建立;

数据供应全链路的质量、存储、安全、加工、服务等规范和标准;

数据管理工具的资产管理能力,包含从流程承接(权限、流转承接)、数据资产的规范存储和可查、可用、数据服务应用的平台建设等;

数据治理评价和监控等数据应用产品的建设等。

(四)建立基于评价机制的数据治理优化机制

image.png

整个循环机是比较重要的,应该为数据治理的执行去设定它的一个闭环监控机制。让数据治理实现可执行、可监控、可优化的链路。

(五)公共层建设方法-基于数据中台公共层的指标规范定义梳理

image.png

不同的业务在运营中有不同的需求与运营指标,虽然表面看起来的需求差不多,例如都需要消费者的统计数据,销售订单的数据,但不同业务的口径不一样。有的可能想看的是在线上一些单品的销售,有的业务想看的可能是全渠道当中的整体销售。业务团队不一样的诉求会存在重复开发的问题,每一次可能都要重新去加工指标。

公共层建设的目标就是指标规范定义、增强复用性。目前阿里整个公共层建设的核心方法论就是拆解业务过程,把原子化的指标提取出来,然后通过和业务维度的组合,来增强它的复用性。

image.png

公共层建设还有一个重要的事情就是统一数据源,公共层建设目标是完成聚合和统一,然后讲统一数据提供业务应用,避免不同的业务应用使用不同的业务来源数据造成的数据差异性。

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
10月前
|
机器学习/深度学习 人工智能 运维
云架构不是养祖宗,智能运维教你省心又省钱
云架构不是养祖宗,智能运维教你省心又省钱
252 2
|
11月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
315 8
|
存储 BI Shell
Doris基础-架构、数据模型、数据划分
Apache Doris 是一款高性能、实时分析型数据库,基于MPP架构,支持高并发查询与复杂分析。其前身是百度的Palo项目,现为Apache顶级项目。Doris适用于报表分析、数据仓库构建、日志检索等场景,具备存算一体与存算分离两种架构,灵活适应不同业务需求。它提供主键、明细和聚合三种数据模型,便于高效处理更新、存储与统计汇总操作,广泛应用于大数据分析领域。
1254 2
|
11月前
|
数据采集 缓存 前端开发
如何开发门店业绩上报管理系统中的商品数据板块?(附架构图+流程图+代码参考)
本文深入讲解门店业绩上报系统中商品数据板块的设计与实现,涵盖商品类别、信息、档案等内容,详细阐述技术架构、业务流程、数据库设计及开发技巧,并提供完整代码示例,助力企业构建稳定、可扩展的商品数据系统。
|
9月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
781 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
10月前
|
数据采集 机器学习/深度学习 搜索推荐
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
MIT与丰田研究院研究发现,扩散模型的“局部性”并非源于网络架构的精巧设计,而是自然图像统计规律的产物。通过线性模型仅学习像素相关性,即可复现U-Net般的局部敏感模式,揭示数据本身蕴含生成“魔法”。
395 3
MIT新论文:数据即上限,扩散模型的关键能力来自图像统计规律,而非复杂架构
|
10月前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
10月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
384 0
|
11月前
|
数据采集 监控 数据可视化
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
本案例讲述了在豆瓣电影数据采集过程中,面对数据量激增和限制机制带来的挑战,如何通过引入爬虫代理、分布式架构与异步IO等技术手段,实现采集系统的优化与扩展,最终支撑起百万级请求的稳定抓取。
597 0
数据量暴涨时,抓取架构该如何应对?——豆瓣电影案例调研
|
11月前
|
SQL 数据采集 数据处理
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。

热门文章

最新文章