👉🏻场景
某电商企业在整合多个售卖平台的订单数据时,由于各系统数据缺乏统一标准,同类字段取值不一致、语义模糊,导致数据难以对齐,影响后续分析与应用。为实现数据标准化治理,需建立统一的码表体系,对关键字段进行规范化编码管理。然而,传统码表构建依赖人工梳理和业务确认,效率低、周期长。那么,我们该如何基于现实数据快速构建码表,完善数据标准体系呢?
👉🏻解决方案及功能
在Dataphin 5.4版本中,X-数据标准 Agent新增支持了码表逆向抽取,借助大模型对资产进行语义分析,结合元数据、样例数据等信息识别核心字段并自动探查,智能生成码表定义,降低人工成本,提高治理效率。
- 首先,进入「X-数据标准」,选中「抽取码表定义」,选择需要进行码表抽取的数据来源。
- 我们可以通过表名、资产标签等规则圈选指定项目或板块中的表,作为数据来源。
这里我们通过表名匹配“order”圈选出订单表。
- 数据来源范围配置完成后,点击执行治理任务,大模型会基于数据语义智能识别核心字段,并结合资产元数据、数据探查结果及样例数据,智能生成码表定义。
- 任务执行完成后,我们可以针对每一条生成结果进行审核,进行编辑、应用或弃用。
- 例如,我们选择一条「订单状态」的码表,完成编辑后点击应用。
在【数据标准】-【标准代码】中,就可以看到创建完成的码表了!