瓴羊Dataphin_个人页

2023年07月

• 07.04 15:26:34
  发表了文章 2023-07-04 15:26:34

  数据安全最佳实践（7）：通过多级安全分类构建业务安全体系【Dataphin V3.11】

  在DataphinV3.11版本中，我们支持了构建多级安全分类体系的能力，用于支持客户定制和使用行业化的数据分类分级体系。 同时我们支持了识别特征的管理，可以使用内置的手机、姓名等识别特征；也在安全模型中内置了通用行业模型，便于客户直接应用，实现对大部分个人敏感数据和部分业务数据的识别和保护。

2023年06月

• 06.13 14:47:34
  发表了文章 2023-06-13 14:47:34

  Dataphin（数据建设与治理）V3.10版本升级速览

  本次发布的V3.10版本中，Dataphin新增了ArgoDB作为计算引擎；针对客户不同的管控诉求，提供了自定义审批模版、自定义下载和权限审批策略的管控能力；优化了自定义数据源的元数据获取和创建流程；在数据集成、实时研发、数据服务中都新增了多种数据源的适配；在资产治理中，也支持了质量整改、异常数据归档、标准关联质量。

  

2023年05月

• 05.26 17:36:01
  发表了文章 2023-05-26 17:36:01

  细说Dataphin自动解析

  细说Dataphin自动解析

  
• 05.24 10:23:30
  发表了文章 2023-05-24 10:23:30

  Dataphin实时计算：实时代码模板实现多链路容灾

  实时计算场景由于其需要24小时不间断的运行，对于任务的稳定性、时效性要求异常的高。在通常情况下，为了保证结果能够高准确、低延迟地产出，生产环境中需要双链路甚至三链路来实现主备的容灾处理。那么对于相同的一套指标，我们需要维护的代码就会根据链路数量成倍往上翻。特别是在变更的时候，人工操作有可能会带来很多的不一致。 考虑到主备任务处理逻辑需要保持强一致性，差异仅仅在于输入流/表以及输出流/表，dataphin针对这种场景设计了专门的处理方案，引入了模版和模版任务的概念，可以高效的解决上述问题。
• 05.18 21:23:32
  发表了文章 2023-05-18 21:23:32

  数据标准应用（二）：数据标准落标监控-上篇

  数据标准创建完成后，需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系通过落标映射规则来管理，对象是否遵循了映射到的标准定义则通过落标监控规则来判断。本文为您介绍落标监控评估的基本概念和监控逻辑。Dataphin 支持通过定义标准属性和资产对象元数据字段之间的匹配关系，自动生成数据标准和资产对象的映射关联了；针对已确定的映射关系，可结合数据标准的定义对关联的资产对象进行落标监控，包括元数据监控和内容质量监控。
• 05.18 21:22:14
  发表了文章 2023-05-18 21:22:14

  数据标准应用（一）：落标映射关系

  数据标准创建完成后，需要指定其关联的资产对象才能发挥应用价值。数据标准和资产对象的映射关系当前可以通过落标映射规则来管理；生成映射关系后，对象是否遵循了映射到的标准定义则通过落标监控评估来判断。本文为您介绍落标映射关系的分类和管理方式。
• 05.18 14:37:03
  发表了文章 2023-05-18 14:37:03

  数据建设与治理丨Dataphin中如何进行Hologres开发

  前言：在Dataphin 3.9中新增支持Hologres引擎的适配。Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving）。通过Dataphin的研发平台能力以及数据资产治理能力，可提供更好的即席分析及实时数仓的构建能力。

  
• 05.16 16:46:09
  发表了文章 2023-05-16 16:46:09

  数据集成最佳实践：分区表作为来源表时的处理策略

  分区表是指拥有分区空间的表，在集成任务中指定来源表的分区数据进行抽取，可以避免全表扫描，提高处理效率。但是来源表为分区表时也会遇到一些问题，如某些分区不存在，或者是需要抽取多个分区的数据，下面介绍一下Dataphin为这些场景提供的对应能力。
• 05.15 21:08:38
  发表了文章 2023-05-15 21:08:38

  Dataphin自定义资源组功能全新上线！

  V3.10 版本中，Dataphin 全新上线调度资源分组管理的功能，能够帮助您统一管理部署Dataphin实例的物理机集群资源。您可以将资源划分为不同的配额组，不同资源组之间的资源配额互相独立，并支持为不同租户、统一租户下不同项目内的任务单独指定调度时使用的自定义资源组，从而保障核心任务的资源不被抢占，同时也提升整体资源利用率。
• 05.15 19:59:21
  发表了文章 2023-05-15 19:59:21

  API数据源与集成优化【Dataphin V3.9】

  在DataphinV3.9版本中，对于API数据源的认证方式配置与URL相对路径配置等场景进行了功能优化，并且新增支持了通过离线集成管道中的API输出组件向API数据源写入数据的功能。
• 05.08 11:27:09
  发表了文章 2023-05-08 11:27:09

  Dataphin（数据建设与治理）V3.9版本升级详情

  本次发布的V3.9版本中，Dataphin提升了客制化的能力，针对不同的客户的业务场景、组织架构和管理职责进行了适配性的升级，并持续提升了规范建模的能力以及研发的易用性。在下一个版本中，我们将针对数据治理的相关能力进行升级，简化操作链路，持续提升用户体验。
• 05.06 15:25:09
  发表了文章 2023-05-06 15:25:09

  数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理

  在Dataphin数据治理系列：基于数据质量管理，支撑业务快速发展这篇文章中，我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理中，做完了事前的质量规则的配置和事中的质量规则校验后，会产生大量的质量问题待治理项，这时候需要有一个完整的工作流程去管理质量问题，实现从质量规则配置，到质量问题发现，到质量治理修复问题，最终提升数据质量的完整PDCA流程。

  
• 05.06 11:40:16
  发表了文章 2023-05-06 11:40:16

  数据质量最佳实践（2）：通过归档和分析异常数据，快速定位质量问题

  在Dataphin数据治理系列：基于数据质量管理，支撑业务快速发展这篇文章中，我们详细的介绍了Dataphin数据质量模块的产品核心能力和产品使用演示。 在实际的质量管理过程中，经常需要通过查看异常数据，来确定质量问题产生的原因，从而针对性的修复质量问题，下面我们一起来看下Dataphin质量模块的异常数据归档能力。

  

2023年04月

• 04.21 18:33:36
  发表了文章 2023-04-21 18:33:36

  【数据计算实践】如何使用Datpahin实现一个流批一体任务

  以计算促销活动期间GMV为例，介绍Dataphin如何基于Flink流批一体的任务开发流程，实现实时数据处理。