瓴羊智能服务

全域数据质量是指对客户全场景/全数据源下的数据常用的数据场景，都可以进行数据质量监控，本次升级支持了大部分常用场景和计算源，并持续扩展中。

Dataphin 当前能够对客户在数据处理中常用到的数据引擎、数据源和数据对象进行数据质量的监控，详细支持的列表如下：

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

标准创建完成后，需要和对应的资产对象关联起来才能真正实现其应用价值，实现对资产的规范性约束。Dataphin 支持基于标准属性值和资产对象元数据属性值进行落标关联映射配置，以实现标准和资产的关联，作为后续落标稽核的基础。下面，我们通过一个例子来进一步理解 Dataphin 如何实现落标映射与稽核。

首先，我们需要权限出进行映射匹配的标准和资产对象范围：

• 标准：来自于“测试标准集”的所有“已生效”状态的标准

• 资产对象：所属表名包含“test”字样的所有字段其次，我们需要配置标准和资产对象的关联映射条件：标准名称=字段名称

最后，我们需要配置该规则的执行时间和频率等信息。

通过上述配置，系统可以自动执行该映射规则，圈选出相应范围的标准和资产对象并进行匹配。规则执行完成后，我们就可以在资产目录及规则执行明细页面清晰的看到某个资产关联到了哪些标准，以便参考映射到的标准定义进行开发，将数据治理前置到研发链路。

但是映射成功的资产对象是不是真正的遵循了这些标准呢？接下来就需要我们的落标评估能力来助力啦。Dataphin 支持针对资产对象的技术元数据进行落标评估，如字段类型、字段长度等。后续我们还将结合质量监控的能力，进一步拓展对值域、字段格式等内容的监控。针对不满足关联标准的资产，标准管理人员可以推动研发人员可以尽早进行整改，从源端保障数据规范性和统一性。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

数据标准常常需要和参考数据一起使用，才能更好地适配业务需求。常见的参考数据包括码表、词根、度量单独等等。

码表可用于约束标准属性字段的取值范围，提升标准定义的准确性；词根常用作词缀并作为数据表、字段等研发对象命名的参考依据，以提升命名规范性减少数据消费时的不一致性和理解误差。

Dataphin 数据标准支持码表和字根的创建和管理，通过简单的界面操作即可完成创建，并可在创建标准时引用码表作为取值范围的约束，降低了标准管理人员的操作成本。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

相较于传统模式下用 Excel 等线下文件管理数据标准的方式，Dataphin 支持在线创建数据标准模板（标准集），可以约束标准每一个属性的填写规范，以便约束基于该模板创建的所有标准，实现一次定义多次复用。如，某团队的基础数据标准需要具备以下属性：

• 业务属性：标准名称、标准编码、描述

• 技术属性：字段类型、字段长度、字段精度

• 管理属性：标准制定部门、应用业务部门

在创建标准集模板时，我们可以将“标准制定部门”和“应用业务部门”的类型设置为“枚举单值”并指定枚举范围，这样在创建标准时，这两个属性会以下拉单选框的形式展示，且可选范围为创建标准时指定的枚举范围，不仅大大提升了标准填写人员的效率和体验，也避免操作不一致造成的标准规范不一致。

此外，为了更好地将历史已有标准文件导入系统进行统一管理，Dataphin 支持批量导入及更新数据标准，只需要下载标准模板并配置冲突策略，就可以实现约束一致的数据标准的批量更新。

Dataphin 支持数据标准的全生命周期管理。创建完成后默认生成草稿态标准，确认填写无误后可以提交标准上线申请并生成对应的审批任务。

Dataphin 支持设置标准审批模板，以适配不同管理范围下标准的审批。标准上线后根据设置的标准生效时间，自动生成待生效、已生效、已失效的标准。上线后的支持修订，会生成修订中的版本，修订中版本再次发布前，不会影响线上已生效的标准版本。基于该流程，可以实现灵活完整的标准生命周期管理。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

Dataphin 支持在线创建数据标准模板（标准集），可以约束标准每一个属性的填写规范，以便约束基于该模板创建的所有标准，实现一次定义多次复用。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

总体来说，作为资产治理的重要一环，Dataphin 数据标准功能为标准的统一管理提供了灵活的产品化能力支持，同时也能减少人工监控成本，为标准的落地执行提供了强有力的保障，以提升企业整体数字能力建设的标准化成熟和资产的健康度。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

以上是零售行业通用的主题域模型。

• 零售行业最基础的三个实体为人、货、场就可以推出最核心的三个业务对象：实体、客户（消费者）、商品和渠道（线下门店、线上各种渠道）。

• 零售行业的核心业务活动实体为销售，将商品通过不同的销售渠道售卖给消费者。销售业务活动实体关联了客户、商品、渠道三个业务对象实体。

• 营销域的一系列业务实体解决引流，扩大“客户（消费者）”数量的问题，有营销活动、消费券等业务实体；内容域提供资源提高“客户（消费者）”的粘性，有各种内容实体。

• 供应链域的一系列业务实体，保障“商品”的供应有供应商、采购、运输、仓储等业务实体。

• 履约域的业务实体将商品送到客户手中。

• 其他各种业务实体都在围绕人、货、场展开，总可以梳理出很多业务实体。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 业务对象至少有一个标识属性，根据业务可以添加其他关键属性。

• 业务活动必须有一个关联实体属性来标识活动的主体（发起人，比如订单活动中的买家），一个或多个时间属性来明确活动时间。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 标识属性，即实体的某个具体实例的唯一标识。实体是一个抽象概念，实体实例是具体事物。比如，商品鞋是一个实体。一双 36 码、白色、编码为 6901234的鞋就是一个实例。一个实体可以有多个标识属性，如商品 ID、商品编码。

• 关联实体属性，实体的某个属性本身可能也是一个实体。比如，商品的卖家（货主）属性，卖家是一个独立的实体。

• 描述属性，表述实体某一个维度的特征的一般属性，实体中的定性属性，一般是文本字符类型，如名称。

• 度量属性，某个维度数量程度的属性，定量属性。一般是数值类型，如金额、价格。

• 时间属性，描述实体某个行为的时间。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 取值规则，约束属性的取值范围，即约束实体实例中该属性的具体内容的有效性。

• 枚举值，如鞋子颜色只有黑色和白色两个。

• 取值范围，如年龄一般是 0~150。

• 唯一性，除标识属性外，其他属性也可能有唯一性要求。

• 非空性，不允许该属性出现空值。

• 其他。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

在线开发：

• 数据服务业务处于初期，以有数可用为核心诉求

• 数据规模量相对不大，以快速处理快速响应为核心目标

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

数据平台构建与管理：

• 数据服务业务处于增长期，对数据价值的诉求蓬勃增长，大量的数据应用涌现

• 数据规模、数据多样性、数据处理的复杂度、数据处理的作业均呈现较大规模或较高水平要求

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

数据综合治理

• 数据服务业务持续增长或成熟，业务的数据化运营意识较强，对数据价值的期待更高

• 以数据资产为中心开展所有的数据工作，以业务可理解、便捷可消费及业务的资产化组织和管理

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

广告、活动、优惠券等数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

主要是售后等数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

商品的管理（类目管理、品牌管理等），商品结构管理（组货）等相关的业务活动数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

在所有业务流程中都会被引用的数据，如地理位置数据、企业的人员组织数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

包含线下门店，线上电商（自营或者第三方）等售卖渠道相关的数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

零售商以引流为目的所建设的内容，比如商业软文、直播带货、宣传刊物等。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

零售商按照契约（订单）将商品配送给消费者，是零售商到消费者的物流数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

该主题域主要是零售企业内用户（消费者）运营相关的业务活动数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

零售商与消费者之间非契约形式信息流数据，如零售商在社交媒体上与消费者的互动，消费者在电商平台内的评论、分享与收藏等。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

包含销售订单、支付、退款退货等零售商与消费者之间契约形式的信息流与资金流数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

零售商与供应商之间的三流，以及零售商内部的物流与信息流数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

消费者访问店铺等相关的数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

当计算引擎出现性能瓶颈、资源分配不足或需控制任务下发时间和顺序等场景时，通过配置开发或生产环境任务的限流规则，保障系统的稳定性以及业务数据按序及时产出。

Datatphin 支持基于业务视角的调度限流功能，支持根据任务优先级和资源空闲情况，控制不同时间段内不同任务的下发数量。基于限流能力，不仅可以减少对底层计算引擎和上下游数据源的并发压力，保证高优任务优先分配调度及计算资源，任务能按序产出；同时也能实现故障异常场景下的快速止血，避免产生因为无法干预或介入较晚而产生严重的问题，增强整体稳定性。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 重跑/重跑下游

运行成功或失败状态的实例支持重跑。重跑时会按照最新发布的代码版本执行。对于任务配置问题或网络环境问题导致的的运行失败，可以通过重跑恢复数据。

dataphin 支持针对单个实例进行重跑、或选中一个起点及其下游，按照依赖关系进行批量重跑（如整条链路计算逻辑修改等场景），以实现全链路数据更新。

• 强制重跑/强制重跑下游

重跑操作要求依赖的所有上游实例运行成功并到达当前实例的定时调度时间，某些场景下，可以忽略上游实例的运行状态（一般是无数据依赖，仅调度依赖，或者对数据实效性要求不高的情况），这时可以使用强制重跑功能来恢复运行。

另一种场景，已经运行到中间链路的任务，发现来源数据错误需要及时止损，此时可以使用强制重跑下游功能来解决，系统会先将所有选中的任务批量终止，再从最上游实例按照依赖关系依次向下运行，避免新老代码并存产生的数据错乱。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 上游依赖

上游依赖诊断为您展示实例最近 1 次运行诊断结果及上游实例当前最新的状态。上游实例运行失败将阻塞当前实例的运行，您可以通过查看上游依赖诊断结果进一步排查失败原因并一键定位到需要直接处理的其实异常实例。

• 定时时间

检查是否已到达任务设置的定时运行时间，只有上游全部运行成功且到达了的定时调度时间的实例才会继续下发，否则为“等待调度时间”状态。

• 限流规则所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统，否则为“限流中”状态。您可以查看当前实例命中的限流规则以及当前队列中已下发的实例列表。

• 调度资源

实例有足够可分配的空闲调度资源才会开始运行，否则为“等待调度资源”状态。您可以查看实例已等待调度资源的时长、以及当前占用所在资源组资源的全量实例列表，并根据诊断建议执行对应的操作。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 核心能力 1：自动推算需要纳入基线监控范围的任务

添加需要保障的任务或字段后，系统将基于依赖关系自动推算需要纳入监控范围的上游节点，这样一来，即使更新了任务依赖关系，也无需更新基线配置，大大降低了人工操作成本；同时也提升了监控准确性，避免因为配置不同步而导致的监控缺失。

• 核心能力 2：关联路径与关键实例识别

基线上需要保障的任务，其依赖关系可能错综复杂，Dataphin 提供甘特图功能帮助您快速定位阻塞基线上数据产出的关键路径与关键实例，其中影响基线任务产出的多条路径中，耗时最长的路径为基线关键路径。

• 核心能力 3：自动推算预计产出时间并触发相应告警

周期运行过程中，系统将根据基线链路上每个节点最近 7 天的历史运行概况，推算保障节点的预计运行完成时间。如果推算出的时间晚于配置的预警及承诺时间，则会发送基线告警，给开发人员和业务人员对应的通知。

此外，Dataphin 也支持针对单个任务的监控，以离线监控为例，支持以下几种监控场景：完成、出错、运行超时、未完成。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

Dataphin 支持给生产环境的任务配置监控告警规则，帮助您及时了解任务运行动态，并监控异常任务，降低对下游业务的影响。

Dataphin 支持多种监控能力，包括智能基线监控、离线任务&字段监控及实时任务监控。

智能基线监控能够快速捕捉导致基线上的任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出，帮助您降低配置成本、免无效报警、自动监控所有重要任务。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 优先级：支持最高、高、中等、低、最低 5 种优先级，影响调度资源的分配。

对于需要重点保障的任务，可以通过设置高优先级配置保证资源优先分配。

• 调度类型：支持正常调度、空跑调度、暂停调度三种方式。空跑调度的任务生成的所有实例直接空跑成功，不会真正运行；暂停调度的任务生成的实例均为暂停运行状态，常用于经常需要暂停某些链路上的数据更新、又不希望频繁下线任务或修改依赖的场景。

• 调度周期：支持分钟、小时、日、周、月调度，不同调度周期对应不同的运行频率，并支持配置每个实例的定时调度时间。如抽数任务，需要每小时从业务库抽取上一小时新增的订单数据，再进行销售总额的合并计算，则需要配置调度周期为“小时”，开始运行时间为每个整点，以保证数据时效性。

• 上游依赖：提供自动依赖解析能力，可以基于 SQL 详情解析出存在数据依赖的上游任务并自动添加。对于不存在数据依赖关系但是有调度依赖的上游（如用于检查数据变化情况的 check 任务），可以手动搜索添加。

• 依赖上周期：支持配置依赖任务自身或其他任务的上一周期实例。有时为了防止多个实例同时运行造成的数据冲突或重复，需要保证每个任务同一时间只有一个任务在运行，此时可以配置“自依赖”，如“截止当日销售总额”任务，计算口径为“前一日销售总额+当日销售总额”。另外一些场景下，任务运行完成时间较晚，对于数据时效性要求不严格的下游，可以配置依赖该任务的上周期。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

创建任务时，首先需要根据任务运行频率和数据产出时效性判断该任务的调度类型，并针对不同类型的任务进行调度规则的配置。其中，周期调度是最常用的调度方式。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 待发布对象列表概览：列表记录了对象名称、对象类型、调度节点 ID、最近一次提交发布的版本号、本次提交变更类型、提交人及提交时间等信息。发布审核人员可以基于这些基本信息，初步评估任务变更情况，作为判断是否需要发布的依据。

• 提交详情及提交记录查看：支持查看每个对象当前最新提交的版本详情及历史的提交记录，发布人员可以基于详情信息进一步评估发布该对象对生产项目可能产生的变更影响。

• 移除及跳转编辑待发布对象：如果任务提交后需要再次变更，为了防止变更前的内容被提前发布影响生产环境数据，可以主动移除发布对象，并在修改完成后再次提交发布。

• 发布及批量发布：确定可以发布后，可以针对单个对象执行发布，也可以批量选中多个对象一次性发布。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 发布记录概览：发布记录列表展示了每一次发布的执行详情，包括发布名称、发布对象、对象类型、发布版本、发布的变更类型、发布人及发布时间、发布状态等。

• 发布详情查看：针对每条发布记录，可以查看发布详情，评估是否符合预期；尤其是发布失败的任务，在发布详情会给出失败原因提示，发布人员可以根据提示信息联系相关开发修改后重新发布。

• 发布失败日志查看及一键重新发布：发布失败的对象，可以点击查看发布详情，发布详情中可以查看本次发布的日志记录，以获取更多的报错信息指导下一步操作。

• 发布管控：如果使用了变更管控中的发布管控功能，此处还会进行发布管控规则的校验，发布详情中会展示命中的管控规则及校验结果，针对校验失败的，还会展示在管控规则中配置的说明文案，以提醒发布人员。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 上游依赖配置的正确性。

• 节点输出名称是否唯一。

• 代码中引用的资产对象是否有相应权限。

• SQL 语法是否正确。

• 发布执行是否正常。

每个对象只有所有系统校验规则均通过，才能发布成功，否则会在发布详情弹框进行错误提示，引导需要执行的下一步操作，如申请权限、修改代码逻辑等等。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

Dataphin 发布中心提供了待发布任务概览、批量发布、基于系统规则的自动审核、发布记录概览、发布详情查看、发布失败原因提示及一键重新发布等功能。同时，管理中心的发布管控功能，可以自定义审核规则和策略，以满足个性化需求场景。发布人员只需评估哪些任务需要上线生产环境，批量勾选并一键执行发布即可，大大缩短了操作路径，并从系统角度提供了全面保障。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

快速生成业务分析中的指标，称为派生指标，且保障这些指标的可靠性和可维护性。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

规划（板块划分->主题域建模->概念建模）->项目创建->ODS（数据上云/数据同步）->CDM（逻辑建模->分析建模）->ADS。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

应用数据层，面向具体业务场景的数据研发。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

公共数据模型层，数据的清洗加工，建模都在这一层进行，智能研发也主要在这一层。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

按照字面理解是操作数据来源，通常的叫法是贴源数据层。ODS 是从业务应用系统中同步过来的数据，一般不对数据做任何清洗加工、镜像复制，但是会保留多个版本，因为业务应用的数据一直在更新变化，ODS 会保留部分中间过程版本数据。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• ODS（Operational Data Source），按照字面理解是操作数据来源，通常的叫法是贴源数据层。ODS 是从业务应用系统中同步过来的数据，一般不对数据做任何清洗加工、镜像复制，但是会保留多个版本，因为业务应用的数据一直在更新变化，ODS 会保留部分中间过程版本数据。

• CDM（Common Data Model），公共数据模型层，数据的清洗加工，建模都在这一层进行，智能研发也主要在这一层。

• ADS/ADM（Application Data Summary），应用数据层，面向具体业务场景的数据研发。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

在数据集成过程中，来源端数据会有轻度预处理诉求，比如敏感数据加密、数据过滤、分库分表数据合并、追加字符等。也会有各式各样同步配置诉求，如容错，限速，并发，同步过程调试等。 Dataphin 的数据集成提供字段计算、合并、分发、过滤、字段脱敏等组件或函数，支持容错配置、并发配置、限速配置等。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，使得企业在发展过程中积累了大量不同存储方式的业务数据，采用的数据管理系统也大不相同。从简单的文件数据库到复杂的网络数据库，构成了企业的异构数据源。Dataphin 的数据集成可支持 30+种数据源的支持，同时可自定义数据源进行灵活接入。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

用户进行数据中台建设时，需要集成的表数量往往很多，不得不大量重复的配置。Dataphin 的数据集成通过高效的拖拽式操作，自动化的一键建表，组件复制和整体管道配置复制，批量化的整库迁移等操作可大大提高系统的易用性及操作效率。数据集成在任务搭建过程中支持同步任务试运行、度量查看、数据预览，方便用户进行数据集成任务的调试。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

支持通过整库迁移（快速生成批量同步任务）和一键生成目标表的方式，提高数据集成的效率。

• 支持流程和转换组件，实现数据源的数据预处理（例如清洗、转换、字段脱敏、计算、合并、分发、过滤等）能力。

• 支持丰富的异构数据源，实现数据源之间数据高速稳定的同步能力。

• 支持 Dev-Prod 和 Basic 的开发模式，可以根据业务场景进行灵活选择开发模式。

• 支持将 Dataphin 中创建的逻辑表快速地同步到目标库。

• 用户可自定义系统尚未支持的数据源组件，以满足不同业务场景数据同步的需求。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

数据集成是 Dataphin 的能力模块，是简单高效的数据同步平台，提供强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。

数据集成是数据中台建设中最基础的工作，将不同系统的数据相互打通，实现数据自由离线或实时流动。随着数据应用的扩宽，各行各业对数据集成也有了更多的诉求。包括：能够简单高效的配置大量数据表的同步任务；能够集成多种异构数据源；能够实现对数据源的数据进行轻度预处理；能够实现数据同步任务的调优（例如容错，限速，并发）等。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。

• 列举业务中的业务实体，有以下几种方式来梳理：

 参考行业通用模型（如有）。

 详尽的业务调研，访谈各个业务方，从业务视角梳理出业务中的参与方（业务对象实体），相关的概念（业务对象实体），以及各参与方之间发生的各种活动（业务活动）。

 查看业务系统（如 ERP，CRM 等）的技术设计，分析设计中的“类”，梳理出业务实体。

 分析业务系统（如 ERP，CRM 等）的数据库表，梳理出业务实体。

• 理顺实体关系，可采用以上同样的方式方法。

以上内容摘自《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》电子书，点击https://developer.aliyun.com/ebook/download/7832可下载完整版。