架构篇:智能数据构建及管理平台Dataphin | 《零售数据中台通关指南》

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 本篇介绍了平台化交付关键要素以及数据治理和统一公共层建设。
潘碧玲(芳路) 阿里云新零售数据解决方案高级经理
具有10+年的企业信息化和咨询规划经验,从业经验覆盖传统咨询公司和互联网公司,具有综合的IT知识和企业业务知识。熟悉零售、流通、商业地产等行业,对会员和营销、供应链解决方案、财务业务集成等方案有较为丰富经验。对阿里数据中台、智能营销、业务中台等产品整体解决方案较为熟悉。

image.png

一、平台化交付关键要素

(一)核心要素是什么-建设数据资产管理平台关键要素

image.png

建设平台型数字化项目核心是在数字化触点持续建设(有数据可用)+大数据技术能力不断提升的基础上,建设数据治理端到端闭环体系、数据运营和应用体系。保证数据从采集到清洗(保证数据可用)再到资产管理(保证数据应用可持续可优化),最后到真正的数据应用价值化的完整链路(以数据驱动业务变革和优化)。

数据治理体系:

建立有规划、可落地,有执行、可评估,覆盖从组织优化到技术能力建设的全面数据治理体系。优化数据供应链的数据质量、数据服务体系、数据安全管理机制、数据管理规范和监控机制,为数据应用价值的呈现建设良好的数据基础。

数据最终的价值是要在数据应用过程中体现的,但是如果没有好的数据供给到数据应用层,那么数据价值是很难发挥作用的。尤其在算法类的项目,它对数据的沉淀和质量有着更高的要求,因为算法的项目,产出很多时候可能是一个黑盒的结果,在结果验证和算法优化的过程中,数据质量的干扰可能会让算法模型无法学习到真正的业务规律。

数据运营体系和组织建设:

数字运营体系建设是驱动数字化技术平台型项目建设的关键要素,建立数据运营体系和完成各执行组织的推广也是帮助企业最终实现数字驱动业务转型、创新场景实现的关键步骤。

运营体系建立是为了保障平台能够对外提供有价值、稳定的服务,也是保障数据管理平台可以不断支持创新业务的关键要素。

数据应用场景体系:

建立数据应用体系,让数据真正服务业务,帮助业务创新执行是数字化转型的最终目标。

(二)阶段怎么划分-项目交付关键链路

image.png

先构建基础能力,再建运营体系,最后建设应用体系,这是比较容易理解的平台架构整体的交付路径,但是在实际的项目中,通常会推荐把链路规划为影响力构建阶段、数据覆盖扩大和产品完善阶段、全面推荐数据智能应用阶段。

1、影响力构建
1)构建影响和普及概念:选择相关的业务板块,以更好的建立核心业务的基础应用和创新应用为契机展开技术平台和治理体系建设,让数据中台在企业内部形成一定的影响力。

2)巩固应用和总结机制:建立于全链路的数字化运营体系和数据治理体系,让后续的项目推进有规范可依,效果可评估可量化。

3)数字智能技术的探索期:探索数字智能的应用领域,基于数据基础较好的应用建立智能算法应用,算法场景通常具有较强的创新性,在影响力构建阶段能够起到较好的加持作用。

2、数据覆盖扩大和产品完善
1)扩大数据覆盖范围:覆盖企业各数据域,实现企业数据管理的统一、规范等管理目标。

2)不断完善数据产品体系:完善数据产品体系,让数据应用的交互友好型增加,数据应用便利性增强等,更好的支持基于数字化的业务创新探索。

3)构建数据运营体系:从组织和流程上实现数据支撑运营,驱动创新业务的探索。

4)数据治理体系落地:基于整体的规划和前期的执行落地总结,在全数据领域落地和执行治理规范等,保障数据价值呈现。

3、全面推进数据智能应用
持续基于业务需求的数据应用建设,从数据的基础应用(分析、流程支持、决策辅助、智能推荐等)全覆盖到数据智能应用范围不断延伸。

(三)为了支持数据价值层的数据应用,数据技术平台需要做什么

image.png

为了最终实现通过数据支持业务决策和创新优化,数据管理层需要做的相关任务总结。

1、大数据技术平台建设:能够处理互联网大数据,解决目前由于数据量太大,数据结构规范等原因造成的数据应用问题。

2、资产治理和运营体系:建立可持续的数据治理和运营体系,帮助数据应用建设的可持续。

3、可复用能力层建设:提供公共数据层,进行数据统一、规范存储,方便后续应用快速识别和应用。

4、友好的数据应用体系:平台输出的数据服务更友好,业务在对接应用的时候能改更便利。

在这四个板块中,数据治理和资产运营、可复用能力层建设两个板块整体的复杂度更高,需要更好体系化、标准化的交付方法推进,仅仅依赖产品能力是很难达到要求的。

二、数据治理和统一公共层建设

(一)为什么要做治理-数据应用场景交付中常会遇到的数据基础问题

image.png

过去在建设数据应用场景的过程中,发现大量的数据问题导致了数据应用场景的不可交付或效果无法达到预期的情况,这是数据治理在后续被作为重点建设事项推进的关键原因。

(二)和传统治理的差异性-希望咨询端到端可落地、产品可承接、机制可闭环

image.png

运营机制让治理可持续:和传统治理比较,现在的治理需要包含数据治理运营机制建立,数据治理所包含数据标准、安全规划等只是其中一部分。通过建立企业建立数据治理运营体系,让数据治理的工作在运营机制的帮助下持续运转。

治理效果可视化:对治理的全过程进行治理效果可视化的体系建立探索,让治理效果可评估可优化。

伴随技术平台交付落地:数据治理项目不是以产出数据治理文档为目标,基于业务的现状和技术产品的特点,整理持续的数据治理项目卡片(基于业务架构和技术架构梳理),把治理落地到技术平台建设和日常中是治理的关键。

端到端贯穿数据源到数据应用:将数据治理贯穿在从源系统治理到数据技术平台数据采集、同步再到数据开发、建模规范,通过对数据应用和服务进行规范化。

(三)数据治理领域框架

image.png
image.png

数据治理的框架主要包含治理和资产管理等板块,在传统数据治理的组织制度规范上,加入更多的资产管理板块需求和数据技术工具的应用规范和要求。例如:

数据治理整体框架和组织、流程机制建立;

数据供应全链路的质量、存储、安全、加工、服务等规范和标准;

数据管理工具的资产管理能力,包含从流程承接(权限、流转承接)、数据资产的规范存储和可查、可用、数据服务应用的平台建设等;

数据治理评价和监控等数据应用产品的建设等。

(四)建立基于评价机制的数据治理优化机制

image.png

整个循环机是比较重要的,应该为数据治理的执行去设定它的一个闭环监控机制。让数据治理实现可执行、可监控、可优化的链路。

(五)公共层建设方法-基于数据中台公共层的指标规范定义梳理

image.png

不同的业务在运营中有不同的需求与运营指标,虽然表面看起来的需求差不多,例如都需要消费者的统计数据,销售订单的数据,但不同业务的口径不一样。有的可能想看的是在线上一些单品的销售,有的业务想看的可能是全渠道当中的整体销售。业务团队不一样的诉求会存在重复开发的问题,每一次可能都要重新去加工指标。

公共层建设的目标就是指标规范定义、增强复用性。目前阿里整个公共层建设的核心方法论就是拆解业务过程,把原子化的指标提取出来,然后通过和业务维度的组合,来增强它的复用性。

image.png

公共层建设还有一个重要的事情就是统一数据源,公共层建设目标是完成聚合和统一,然后讲统一数据提供业务应用,避免不同的业务应用使用不同的业务来源数据造成的数据差异性。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
7天前
|
运维 Kubernetes Docker
利用Docker和Kubernetes构建微服务架构
利用Docker和Kubernetes构建微服务架构
|
13天前
|
运维 持续交付 API
从零构建微服务架构:一次深度技术探索之旅####
【10月更文挑战第28天】 本文记录了作者在从零开始构建微服务架构过程中的深刻技术感悟,通过实战案例详细剖析了微服务设计、开发、部署及运维中的关键要点与挑战。文章首先概述了微服务架构的核心理念及其对企业IT架构转型的重要性,随后深入探讨了服务拆分策略、API网关选型、服务间通信协议选择、容器化部署(Docker+Kubernetes)、以及持续集成/持续部署(CI/CD)流程的设计与优化。最后,分享了在高并发场景下的性能调优经验与故障排查心得,旨在为读者提供一套可借鉴的微服务架构实施路径。 ####
52 3
|
7天前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
【赵渝强老师】基于大数据组件的平台架构
|
13天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
3天前
|
传感器 算法 物联网
智能停车解决方案之停车场室内导航系统(二):核心技术与系统架构构建
随着城市化进程的加速,停车难问题日益凸显。本文深入剖析智能停车系统的关键技术,包括停车场电子地图编辑绘制、物联网与传感器技术、大数据与云计算的应用、定位技术及车辆导航路径规划,为读者提供全面的技术解决方案。系统架构分为应用层、业务层、数据层和运行环境,涵盖停车场室内导航、车位占用检测、动态更新、精准导航和路径规划等方面。
26 4
|
12天前
|
监控 前端开发 JavaScript
探索微前端架构:构建可扩展的现代Web应用
【10月更文挑战第29天】本文探讨了微前端架构的核心概念、优势及实施策略,通过将大型前端应用拆分为多个独立的微应用,提高开发效率、增强可维护性,并支持灵活的技术选型。实际案例包括Spotify和Zalando的成功应用。
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
5天前
|
缓存 负载均衡 JavaScript
探索微服务架构下的API网关模式
【10月更文挑战第37天】在微服务架构的海洋中,API网关犹如一座灯塔,指引着服务的航向。它不仅是客户端请求的集散地,更是后端微服务的守门人。本文将深入探讨API网关的设计哲学、核心功能以及它在微服务生态中扮演的角色,同时通过实际代码示例,揭示如何实现一个高效、可靠的API网关。
|
3天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
4天前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
14 1
服务架构的演进:从单体到微服务的探索之旅