Dataphin V2.9.7-萃取3.0之ID中心功能简介

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: ID中心主要用于定义实体ID类型以及配置已经开发好的ID映射表(ID映射表的开发目前是人工交付实施,非萃取模块功能)。基于此处定义的ID类型,后续构建行为或者标签时,可以直接选择并指定其在不同的数据来源表中对应的字段,以字段值作为ID值存储,以实现ID数据的规范化聚合。

背景

ID是实体的标识,用来识别某个具体实体,如:通过身份证号能唯一识别个人、通过商品编码能识别具体的商品等等。一个实体可以对应多种ID,如消费者可以对应会员ID、手机号、邮箱。

通常情况下,一个确定的ID值能够唯一识别一个实体。但是某些场景下,由于ID变更等原因,存储的历史记录中,可能会有多个实体对应了同一个ID值,如:手机号可能会更换使用人,同一个手机号对应的消费记录,可能来自于不同的消费者。由此我们产生了“高质量ID——OneID”的概念。

OneID,即实体唯一标识,是基于当前已有的,丰富的实体ID数据,通过HOB-GN算法模型等,计算各系统和域中的多个独立的ID之间的关联关系,识别出核心ID和非核心ID,识别并聚合映像为自然界中的唯一实体,赋予该实体一个唯一的OneID,并最终产出ID映射表。

ID中心功能简介

ID中心主要用于定义实体ID类型以及配置已经开发好的ID映射表(ID映射表的开发目前是人工交付实施,非萃取模块功能)。基于此处定义的ID类型,后续构建行为或者标签时,可以直接选择并指定其在不同的数据来源表中对应的字段,以字段值作为ID值存储,以实现ID数据的规范化聚合。

注意:此处定义的ID英文名将作为后续存储的数据表的字段名,因此将默认存储为小写英文。


权限说明

实体ID的定义相对灵活,开发、项目管理员均可以创建、编辑、删除(有依赖校验)实体ID。OneID的配置会影响全局数据计算,因此仅项目管理员可以配置ID映射表并开启OneID归一化配置。访客和分析师仅支持查看,不支持修改。

功能说明

实体ID

实体ID的定义包括ID名称、ID英文名以及ID所属类目的定义。同时,您可以添加描述信息,说明该ID的含义及使用场景。创建成功后,您可以在“实体ID列表”查看目前已经创建好的ID类型,并可以在创建行为规则时选择。此外,您可以在每个ID的“属性抽屉”中查看该ID的消费信息,包括被哪些行为及行为规则引用、是哪些标签逻辑表的组成字段,以了解该ID的应用程度。

ID映射表及OneID归一化

如果您已经有开发好的ID映射表,可直接配置到萃取模块,并开启OneID归一化的功能,以实现基于OneID聚合行为数据并计算标签值的目的。为了保证调度依赖正确性,您可以自行指定ID映射表对应的调度节点(如果没有配置,将按照选择的项目名.表名匹配查询调度节点)。

配置完成ID映射表之后,您可以选择是否开启“OneID归一化”功能。

  • 若未开启ID归一化,则此处配置的ID映射表不会对标签计算产生影响。
  • 若开始了ID归一化功能:
  • 对于归一化成功的 ID值(ID 映射表能映射到对应的 ID_type和ID_value):将基于实体ID值和OneID值分别进行行为规则及标签值的计算。例:1个userid值和1个mobile值映射到同1个OneID值,则标签结果表会存储三条记录:只基于userid值算出来的结果:{美白:1.0};只基于mobile值算出来的结果:{保湿:1.0};基于OneID值计算出来的结果(汇总userid值和mobile值对应的行为数据):{美白:0.7,保湿0.3}
  • 归一化失败的 ID值,则仅基于实体ID值进行计算,且标签结果表中仅存储实体ID值对应的结果。

注意:ID映射表结构需要满足特定的规范,有oneid、key_type、key_id 3个字段,否则无法配置成功。

相关文章
|
27天前
|
消息中间件 Kafka
|
1月前
|
API
|
5月前
|
SQL DataWorks 监控
Dataphin常见问题之数据怎么都补不过去如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
5月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。

热门文章

最新文章

相关产品

  • 智能数据建设与治理 Dataphin
  • 下一篇
    无影云桌面