数据中台:前台调用能快速响应、数据口径一致(4)

简介: 数据中台:前台调用能快速响应、数据口径一致(4)

3.标签是数据商品最适合的颗粒度


数据商品中的数据本身根据不同的颗粒度可以分为对象层、表层、字段层、字段取值层。例如,用户是一种对象,用户下会有用户基本信息表、用户交易明细表、用户注册认证表等表级信息组织。每张表里都会有围绕这种表的详细字段,例如基本信息表中会有性别、年龄、职业等基本信息,用户交易明细表中会有交易时间、交易金额、交易商品等交易信息,用户注册认证表中会有注册日期、注册会员号、注册手机号、认证日期、认证绑定身份证号等注册认证信息。在职业这个字段取值中,会存在教师、医生、工人等多种取值类型。表3-1为不同的数据粒度示例


表3-1 不同的数据粒度示例


image.png


从中可以发现,同一对象群体的不同个体在“对象”“表”“字段”层面都具有相同的信息项,在字段取值层面存在差异性。字段粒度是刻画某一对象群体通用特征的最小粒度。例如每个用户都会有其“基本信息表”“职业”等信息,但是在“职业”的字段取上每个用户都不太一样。


可规模化商业运作的商品应具备一定的通用性和多样性,以达成有效平衡:过于个性化的商品不利于规模化组织、售卖、管理,过于笼统的商品分类又不利于商品的有效选用。


在标签类目体系方法论中,对象对应于根目录,多种表对应于多级类目,属性/字段对应于标签,属性/字段值对应于标签值,如表3-2所示。标签类目体系中的标签是属性粒度的业务向资产形式,最适合作为数据商品中数据本身信息的业务逻辑封装形态。


表3-2 标签类目体系方法论中各概念与数据粒度的对应关系


image.png


4.数据商品化全流程运营


以标签为核心的数据商品化全流程运营过程如下。1)根据业务场景需求,按照标签类目体系方法论设计标签集。例如某女装频道的业务部门打算开展千人千面的精准营销,需要对用户进行肖像刻画,数据产品经理会与业务人员沟通,然后设计业务部门所需的标签,例如“性别”“年龄”“预测购买力”“预测风格偏好”“最近购买品类”等。


2)标签创建后生成标签开发任务,分配给数据开发工程师或算法工程师。当具体字段开发完成后,将数据字段与标签进行关联映射。至此,标签的设计就完成了,经过审核后可以在标签集市中上架,作为数据商品信息呈现。


3)业务人员可以搜索、浏览、查看标签化的数据商品信息,包括标签名称和标签详情、功效、可应用场景、用户评价等。如果发现自己需要或感兴趣的标签,业务人员可以将其加入购物车或收藏夹,以供下一阶段配置数据服务使用。


4)通过服务化的工具,可以将选中的标签集合快速配置成数据服务或数据应用(真正的数据商品形态),供业务部门使用。


5)业务使用过程中所沉淀的日志、反馈、事故等信息都可以用来更好地管理标签和服务,帮助优化数据商品的质量。


6)标签管理过程可以更好地优化现有标签设计。例如,对于质量不高且无人使用的标签,可以吸取教训,避免以后再设计类似的标签;对于质量不高但需求高的标签,寻找更好的设计思路来提升标签质量;对于质量高但需求不高的标签,分析原因后修正标签设计思路;对于质量高且需求高的标签,可以不断优化或设计出更多类似特征的标签。


通过标签化的数据商品参与价值分配,可以预见以下几个结果,如图3-4所示。


image.png


  • 数据部门将会从成本中心变为利润中心。数据部门生产的数据商品会在业务中发挥价值,并通过商品化进行价值衡量与结算,而不产生价值的数据都会被下架以减少成本支出,最终数据部门会收支平衡,乃至变成一个以数据作为核心生产要素的产能工厂,实现数据变现。


  • 数据部门中的标签运营部门会成为重中之重。标签运营部门的人员包括数据产品经理或标签设计师、标签管理员、标签运营专员等。标签运营部门会以业务为导向,以实现数据价值为目标,全链路开展标签价值的测算、计量和扩大化的工作。


  • 通过价值才能真正解决数据打通、治理、使用等“老大难”问题。对奋斗在第一线的数据人员来说,数据打通、治理、使用是压在心上的三座大山。数据打通是数据资产化的前提,但因为存在部门墙、信息孤岛等问题,大家对原始数据过度保护了。数据治理环节复杂、推动困难,导致业务人员没有耐心,数据人员没有信心。数据使用问题是针对业务人员而言的,有时候数据部门非常希望业务部门的人员能对数据感兴趣,能使用起来,但往往因为沟通不畅及数据门槛较高,双方在认知层面存在较大鸿沟。通过标签可以很好地将数据价值发挥出来,用价值倒推业务人员主动理解数据。DT时代,谁掌握了数据谁就有制胜权,没有使用上数据的公司、业务只能被动受限。在数据价值展现后,业务部门会主动与数据部门沟通数据源打通、数据质量提升优化、数据场景化使用等问题。这些问题在价值面前都能迎刃而解,千万不要仅仅依靠技术手段或行政命令来解决。


  • 数据价值运营是一个持续运作、坚持不懈的过程。数据价值运营是一个艰苦、持续的运行态,环节中的任何一环“罢工”,都会使得整个环节运行卡顿或减慢速度。例如数据源头有3个月不更新,产出的数据质量就会变差,业务部门就会投诉或拒绝使用。一旦业务部门在整个闭环中的参与度降低,三座大山又会从头再来。所以数据问题不是解决一次就能“长治久安”的,数据事业是一条需要长期耕耘、时刻警惕的艰辛之路。


对于以数据价值实现作为自身理想坚守的数据人来说,当数据魅力真正迸发的时候,那种兴奋和感动会让我们觉得人生的价值也一起得到了实现,也许就像有人说的,人生和理想互指迭代、同频共振了。所以真正的数据人并不会在数据问题面前失落和放弃。

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
2月前
|
机器学习/深度学习 存储 人工智能
为什么AI处理私有数据,需要使用向量数据库
大语言模型通过概率和向量数据库查询来生成高质量内容,当预测概率低于阈值时,利用相似性从本地数据中获取信息,向量数据库通过向量化、表示、查询、搜索和解码等步骤,帮助模型处理未知数据。
|
10天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
15天前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
57 0
|
2月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
2月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据,还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据,还支持算子下推吗
107 2
|
3月前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
291 1
|
4月前
|
SQL 人工智能 NoSQL
向量数据库测试写入查看数据
向量数据库测试写入查看数据
103 0
|
5月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
85 0
|
5月前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
37 0
|
5月前
|
关系型数据库 OLAP 数据库连接
AnalyticDB PostgreSQL版目前不支持使用外部数据包装器
AnalyticDB PostgreSQL版目前不支持使用外部数据包装器
86 3