架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》

简介: 本篇介绍了平台化交付关键要素以及数据治理和统一公共层建设。
潘碧玲(芳路) 阿里云新零售数据解决方案高级经理
具有10+年的企业信息化和咨询规划经验,从业经验覆盖传统咨询公司和互联网公司,具有综合的IT知识和企业业务知识。熟悉零售、流通、商业地产等行业,对会员和营销、供应链解决方案、财务业务集成等方案有较为丰富经验。对阿里数据中台、智能营销、业务中台等产品整体解决方案较为熟悉。

image.png

一、平台化交付关键要素

(一)核心要素是什么-建设数据资产管理平台关键要素

image.png

建设平台型数字化项目核心是在数字化触点持续建设(有数据可用)+大数据技术能力不断提升的基础上,建设数据治理端到端闭环体系、数据运营和应用体系。保证数据从采集到清洗(保证数据可用)再到资产管理(保证数据应用可持续可优化),最后到真正的数据应用价值化的完整链路(以数据驱动业务变革和优化)。

数据治理体系:

建立有规划、可落地,有执行、可评估,覆盖从组织优化到技术能力建设的全面数据治理体系。优化数据供应链的数据质量、数据服务体系、数据安全管理机制、数据管理规范和监控机制,为数据应用价值的呈现建设良好的数据基础。

数据最终的价值是要在数据应用过程中体现的,但是如果没有好的数据供给到数据应用层,那么数据价值是很难发挥作用的。尤其在算法类的项目,它对数据的沉淀和质量有着更高的要求,因为算法的项目,产出很多时候可能是一个黑盒的结果,在结果验证和算法优化的过程中,数据质量的干扰可能会让算法模型无法学习到真正的业务规律。

数据运营体系和组织建设:

数字运营体系建设是驱动数字化技术平台型项目建设的关键要素,建立数据运营体系和完成各执行组织的推广也是帮助企业最终实现数字驱动业务转型、创新场景实现的关键步骤。

运营体系建立是为了保障平台能够对外提供有价值、稳定的服务,也是保障数据管理平台可以不断支持创新业务的关键要素。

数据应用场景体系:

建立数据应用体系,让数据真正服务业务,帮助业务创新执行是数字化转型的最终目标。

(二)阶段怎么划分-项目交付关键链路

image.png

先构建基础能力,再建运营体系,最后建设应用体系,这是比较容易理解的平台架构整体的交付路径,但是在实际的项目中,通常会推荐把链路规划为影响力构建阶段、数据覆盖扩大和产品完善阶段、全面推荐数据智能应用阶段。

1、影响力构建
1)构建影响和普及概念:选择相关的业务板块,以更好的建立核心业务的基础应用和创新应用为契机展开技术平台和治理体系建设,让数据中台在企业内部形成一定的影响力。

2)巩固应用和总结机制:建立于全链路的数字化运营体系和数据治理体系,让后续的项目推进有规范可依,效果可评估可量化。

3)数字智能技术的探索期:探索数字智能的应用领域,基于数据基础较好的应用建立智能算法应用,算法场景通常具有较强的创新性,在影响力构建阶段能够起到较好的加持作用。

2、数据覆盖扩大和产品完善
1)扩大数据覆盖范围:覆盖企业各数据域,实现企业数据管理的统一、规范等管理目标。

2)不断完善数据产品体系:完善数据产品体系,让数据应用的交互友好型增加,数据应用便利性增强等,更好的支持基于数字化的业务创新探索。

3)构建数据运营体系:从组织和流程上实现数据支撑运营,驱动创新业务的探索。

4)数据治理体系落地:基于整体的规划和前期的执行落地总结,在全数据领域落地和执行治理规范等,保障数据价值呈现。

3、全面推进数据智能应用
持续基于业务需求的数据应用建设,从数据的基础应用(分析、流程支持、决策辅助、智能推荐等)全覆盖到数据智能应用范围不断延伸。

(三)为了支持数据价值层的数据应用,数据技术平台需要做什么

image.png

为了最终实现通过数据支持业务决策和创新优化,数据管理层需要做的相关任务总结。

1、大数据技术平台建设:能够处理互联网大数据,解决目前由于数据量太大,数据结构规范等原因造成的数据应用问题。

2、资产治理和运营体系:建立可持续的数据治理和运营体系,帮助数据应用建设的可持续。

3、可复用能力层建设:提供公共数据层,进行数据统一、规范存储,方便后续应用快速识别和应用。

4、友好的数据应用体系:平台输出的数据服务更友好,业务在对接应用的时候能改更便利。

在这四个板块中,数据治理和资产运营、可复用能力层建设两个板块整体的复杂度更高,需要更好体系化、标准化的交付方法推进,仅仅依赖产品能力是很难达到要求的。

二、数据治理和统一公共层建设

(一)为什么要做治理-数据应用场景交付中常会遇到的数据基础问题

image.png

过去在建设数据应用场景的过程中,发现大量的数据问题导致了数据应用场景的不可交付或效果无法达到预期的情况,这是数据治理在后续被作为重点建设事项推进的关键原因。

(二)和传统治理的差异性-希望咨询端到端可落地、产品可承接、机制可闭环

image.png

运营机制让治理可持续:和传统治理比较,现在的治理需要包含数据治理运营机制建立,数据治理所包含数据标准、安全规划等只是其中一部分。通过建立企业建立数据治理运营体系,让数据治理的工作在运营机制的帮助下持续运转。

治理效果可视化:对治理的全过程进行治理效果可视化的体系建立探索,让治理效果可评估可优化。

伴随技术平台交付落地:数据治理项目不是以产出数据治理文档为目标,基于业务的现状和技术产品的特点,整理持续的数据治理项目卡片(基于业务架构和技术架构梳理),把治理落地到技术平台建设和日常中是治理的关键。

端到端贯穿数据源到数据应用:将数据治理贯穿在从源系统治理到数据技术平台数据采集、同步再到数据开发、建模规范,通过对数据应用和服务进行规范化。

(三)数据治理领域框架

image.png
image.png

数据治理的框架主要包含治理和资产管理等板块,在传统数据治理的组织制度规范上,加入更多的资产管理板块需求和数据技术工具的应用规范和要求。例如:

数据治理整体框架和组织、流程机制建立;

数据供应全链路的质量、存储、安全、加工、服务等规范和标准;

数据管理工具的资产管理能力,包含从流程承接(权限、流转承接)、数据资产的规范存储和可查、可用、数据服务应用的平台建设等;

数据治理评价和监控等数据应用产品的建设等。

(四)建立基于评价机制的数据治理优化机制

image.png

整个循环机是比较重要的,应该为数据治理的执行去设定它的一个闭环监控机制。让数据治理实现可执行、可监控、可优化的链路。

(五)公共层建设方法-基于数据中台公共层的指标规范定义梳理

image.png

不同的业务在运营中有不同的需求与运营指标,虽然表面看起来的需求差不多,例如都需要消费者的统计数据,销售订单的数据,但不同业务的口径不一样。有的可能想看的是在线上一些单品的销售,有的业务想看的可能是全渠道当中的整体销售。业务团队不一样的诉求会存在重复开发的问题,每一次可能都要重新去加工指标。

公共层建设的目标就是指标规范定义、增强复用性。目前阿里整个公共层建设的核心方法论就是拆解业务过程,把原子化的指标提取出来,然后通过和业务维度的组合,来增强它的复用性。

image.png

公共层建设还有一个重要的事情就是统一数据源,公共层建设目标是完成聚合和统一,然后讲统一数据提供业务应用,避免不同的业务应用使用不同的业务来源数据造成的数据差异性。

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
机器学习/深度学习 人工智能 运维
云架构不是养祖宗,智能运维教你省心又省钱
云架构不是养祖宗,智能运维教你省心又省钱
173 2
|
7月前
|
搜索推荐 数据管理
Dataphin功能Tips系列(70)自定义菜单:构建一站式数据管理平台
Dataphin通过自定义菜单功能,支持嵌入企业其他平台URL,实现统一的数据开发与管理平台,提升团队协作效率。
242 8
|
8月前
|
SQL 运维 自然语言处理
Dataphin智能化重磅升级!编码难题一扫光,开发运维更高效!
Dataphin重磅推出三大核心智能化能力:智能代码助手提升SQL开发效率;智能运维助手实现移动化任务管理;智能分析通过自然语言生成SQL,助力数据价值释放。未来将持续开放智能ETL、安全助手等能力,助力企业构建高效、稳定的数据资产体系。
629 0
|
5月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
498 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
6月前
|
数据安全/隐私保护
Dataphin功能Tips系列(73)Dataphin行级权限:构建灵活高效的权限管理体系
Dataphin行级权限功能通过“控制字段”实现灵活数据管控,支持多表批量绑定与动态授权,有效降低权限管理复杂度,提升数据安全性与管理效率。
198 0
|
8月前
|
存储 人工智能 调度
上海创智学院联合无问芯穹发布Megrez2.0,本征架构突破端模型不可能三角,以终端算力撬动云端智能
终端是实现数字智能和生命智能自由交互的重要接口,持续帮助人类拓展生产能力的边界。当下,终端智能面临着“能效-空间-智能”的不可能三角:以DeepSeek-R1为例,其参数规模高达6710亿,超出了大部分笔记本电脑的内存容量;即使勉强在一台笔记本电脑上成功运行满血版模型,理论上坚持不到9分钟就会耗尽电池;如果通过蒸馏,将满血版模型压缩到更小尺寸,此时的精度损失又可能满足不了智能水平的要求。
194 0
上海创智学院联合无问芯穹发布Megrez2.0,本征架构突破端模型不可能三角,以终端算力撬动云端智能
|
8月前
|
Ubuntu 编译器 C语言
在Ubuntu22.04平台上交叉编译针对Rv1126架构的GCC13.2.0编译器的步骤。
遵循上述步骤,您应该能够在Ubuntu 22.04平台上成功交叉编译适用于RISC-V架构RV1126的GCC 13.2.0编译器,允许您为目标硬件构建应用程序和操作系统组件。
506 10
|
11月前
|
SQL 数据采集 分布式计算
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
Dataphin是一款智能数据建设与治理平台,基于阿里巴巴OneData方法论,提供从数据采集、建模研发到资产治理、数据服务的全链路智能化能力。它帮助企业解决数据口径混乱、质量参差等问题,构建标准化、资产化、服务化的数据中台体系。本文通过详细的操作步骤,介绍了如何使用Dataphin进行离线数仓搭建,包括规划数仓、数据集成、数据处理、运维补数据及验证数据等环节。尽管平台功能强大,但在部署文档更新、新手友好度及基础功能完善性方面仍有提升空间。未来可引入SQL智能纠错、自然语言生成报告等功能,进一步增强用户体验与数据治理效率。
1054 34
Dataphin测评:企业级数据中台的「智能中枢」与「治理引擎」
|
8月前
|
数据采集 机器学习/深度学习 自然语言处理
智能风险管理的技术架构:2025从数据采集到自主决策的全链路解析
本文系统梳理了项目风险管理的技术演进历程,从文档驱动到智能化阶段,深入解析各时期关键技术与工具架构,并结合实践案例提出前瞻性实施策略,助力项目管理专业人士构建智能风险管理体系。
577 2
|
8月前
|
人工智能 物联网 测试技术
智能化测试基础架构:软件质量保障的新纪元
本文介绍了智能化测试基础架构的核心构成与优势。该架构融合AI、领域工程与自动化技术,包含智能测试平台、测试智能体、赋能引擎和自动化工具链四部分,能自动生成用例、调度执行、分析结果,显著提升测试效率与覆盖率。其核心优势在于实现专家经验规模化、质量前移和快速适应业务变化,助力企业构建新一代质量保障体系。建议从构建知识图谱和试点关键领域智能体起步,逐步推进测试智能化转型。

热门文章

最新文章