Dataphin功能Tips系列(19)-标准批量导入常见场景

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 标准批量导入常见场景
  • 场景

一、业务部门线下整理好了标准,想要批量新增,应该如何操作?

二、想要对于某一个标准集中的标准进行批量更新,应该如何操作?

三、想要对于某一个标准集中的标准进行批量更新同时新建,应该如何操作?

四、已经下载过模板,可以使用原来的模板进行批量更新或新建吗?

  • 解决方案及功能

①前提:

Dataphin使用"标准ID"作为标准对象的系统内部唯一标识,导入过程中将根据每条记录的"标准ID"是否为空决定标准是导入还是更新:

- 如果标准ID为空,视为"新增"操作;

- 如果标准ID不为空,视为"更新"操作,查询系统中是否存在指定标准ID并进行后续操作

"新增"和"更新"操作都需要满足标准配置约束:"标准名称"在单个标准集内唯一、"标准编码'在当前租户下唯一、当前操作者有对应的操作权限、以及标准属性的填写规范等。

②获取标准模板:

"新增"场景:您可以下载"新增"类型的导入模板或直接使用之前已经下载好的模板进行配置。为了提升配置效率,您可以提前配置部分预填信息,那么生成的模板会包含这部分预填内容而无需手动填写。

"更新"场景:如果您保存了之前的标准配置文档,可以直接修改信息后上传;也可以在配置页面选择需要更新的标准范围,重新生成导入模板,新模板中会包含所有选中标准的最新配置内容,您只需要修改需要更新的内容即可,大大减少操作成本和信息不一致的可能。

③配置重复处理策略:

新增标准(即导入的标准ID为空)时,如果在指定的标准集下已经存在了同名标准,应该如何处理呢?Dataphin支持配置重复处理策略:

- 当前配置文件为全量标准的最新配置,希望以文件内容为准导入:此时可以选择“重复则覆盖更新”,在导入时如果遇到同名标准,会先删除系统中的标准,在以配置内容为准新增一个标准

- 系统中的标准已经投入正式使用,由于协同操作或信息不一致等问题新增了同名标准,需要跳过:此时可以选择“重复则跳过”,那么在导入过程中,会跳过此条记录不做处理。

相关文章
|
1月前
|
运维 数据处理 调度
Dataphin功能Tips系列(30)-限流配置
某大型电商平台在每天的凌晨时段需要进行大量的数据处理任务,比如订单处理、库存同步、用户行为分析等。此外,平台还需要定期进行历史数据的补数据工作,以确保数据完整性和一致性。在进行补数据时,如果需要补的历史时间周期比较长,这些批处理任务会消耗大量的计算资源,导致批处理任务(如订单处理、库存同步)响应变慢甚至超时失败,这是我们应该怎么保障每天的批处理任务(订单处理、库存同步)的按时产出?
|
1月前
Dataphin功能Tips系列(27)-排他编辑锁
在实际开发中,为了避免多人同时编辑同一份代码而导致的问题,通常会采用锁机制来保护代码。然而,普通的锁机制有时并不能完全阻止其他开发人员在编辑时抢占锁,这使得用户可互相覆盖锁定状态,在dataphin中如何解决这一问题?
Dataphin功能Tips系列(27)-排他编辑锁
|
2月前
|
消息中间件 Kafka 搜索推荐
|
2月前
|
调度 存储 数据库
|
2月前
|
API 开发工具
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(31)-自定义资源组
某零售企业最近在做促销活动,希望保证某些数据处理任务(订单处理、库存更新)任务能够快速按时完成,如何保证这些高优任务的调度资源不被其他任务占用,能按时执行?
|
1月前
Dataphin功能Tips系列(29)-计算任务版本对比/版本回滚
开发人员小张先前编写的一个脚本,在进行了修订之后,发现逻辑出现了偏差,但他已经不记得前一版本的具体内容了。在这种情况下,应该怎样通过版本对比来看出两版脚本之间的差别,并且回滚到之前的版本呢?
|
1月前
|
调度 Python
Dataphin功能Tips系列(28)-跨节点参数
某经销零售企业,需要每天定时查询供应商的某个服务,以确认产品目录是否有变更,如果有变更,则全量拉取最新目录数据(数据量比较大,拉取一次成本很高),如果无变更则继续沿用上一次拉取的数据,在dataphin如何实现?
|
1月前
|
数据处理 调度
Dataphin功能Tips系列(26)-事实逻辑表配置数据延迟
零售行业中,订单数据是每天晚上由pos系统同步至数据中台,但门店人员经常会没有及时将订单信息录入pos,也许隔天或是隔几天才录入,这会导致指标的不准确性,数据中台的开发人员往往需要进行批量补历史分区的数据,这时怎么才能减轻开发人员的工作,让系统能够自动补前几天分区中的事实逻辑表中的数据呢?

热门文章

最新文章