明离_个人页

2022年02月

• 02.11 16:07:45
  发表了文章 2022-02-11 16:07:45

  数据集成模块中如何配置FTP数据同步

  数据集成的FTP输入组件提供了读取FTP数据的能力。本文重点介绍如何配置FTP输入组件。

  

2022年01月

• 01.14 19:31:47
  发表了文章 2022-01-14 19:31:47

  数据集成模块流程组件之限速介绍

  在数据集成的过程中，在一些场景下，需要对集成速度进行限速操作，限速组件可限制读取速度，本文将介绍如何进行限速组件的配置。

  
• 01.14 19:27:03
  发表了文章 2022-01-14 19:27:03

  数据集成模块流程组件之条件分发介绍

  在数据集成的过程中，在一些场景下，需要对上游数据进行分发操作，条件分发组件可对上游数据根据配置条件进行分发，本文将介绍如何进行条件分发组件的配置。

  
• 01.14 19:19:56
  发表了文章 2022-01-14 19:19:56

  数据集成模块转换组件之字段选择介绍

  在数据集成的过程中，在一些场景下，需要选择哪些字段进行数据集成，字段选择组件可用于对上游字段进行字段筛选、重命名、调整字段顺序，本文将介绍如何进行字段选择组件的配置。

  
• 01.14 19:13:30
  发表了文章 2022-01-14 19:13:30

  数据集成模块转换组件之字段计算介绍

  在数据集成的过程中，在一些场景下，需要新增一些字段，字段计算组件可用于增加自定义字段，本文将介绍如何进行字段计算组件的配置。

  
• 01.14 19:04:26
  发表了文章 2022-01-14 19:04:26

  数据集成模块转换组件之过滤组件介绍

  在数据集成的过程中，在一些场景下，需要对原始数据进行转换操作，过滤组件可对上游数据根据配置条件进行过滤，本文将介绍如何进行过滤组件的配置。

  
• 01.14 16:08:35
  发表了文章 2022-01-14 16:08:35

  数据集成模块中如何配置脚本模式输入组件

  脚本模式组件采用的是配置json的方式配置同步任务。当表单模式透出的配置参数无法支持同步场景诉求时或配置项比较复杂，目前dataphin自定义组件UI不支持时，可采用脚本模式输入组件进行配置。本文将介绍如何同步Mysql 多表join的结果数据作为示例，其余场景均可参照此例的配置。

  
• 01.14 15:36:51
  发表了文章 2022-01-14 15:36:51

  数据集成模块中如何配置Mongo DB数据同步(2)

  MongoDB是面向文档的NoSQL（非关系型）数据库，它的数据结构由字段（Field）和值（Value）组成，类似于JSON对象。 数据集成的Mongodb输出组件提供了写入Mongodb数据库的能力。本文重点介绍如何配置Mongodb的加载策略。

  
• 01.14 15:27:19
  发表了文章 2022-01-14 15:27:19

  数据集成模块中如何配置Mongo DB数据同步(1)

  MongoDB是面向文档的NoSQL（非关系型）数据库，它的数据结构由字段（Field）和值（Value）组成，类似于JSON对象。 数据集成的Mongodb输入组件提供了从mongodb数据库中全量和增量两种读取方式，并且能够对数据自动进行数据分片，从而可以并发的高校读取数据。

  
• 01.14 10:32:29
  发表了文章 2022-01-14 10:32:29

  在Dataphin中怎么配置Hadoop数据源的kerberos信息

  目前Dataphin数据集成或数据服务支持Hadoop生态四种数据源类型：Hive，HDFS，Hbase，Impala。Kerberos认证是Hadoop生态使用较多一种安全认证协议，本文将说明如何在Dataphin中配置上述数据源的kerberos信息。