DataX 中需要在 JSON 文件中配置多个任务

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: DataX 中需要在 JSON 文件中配置多个任务

DataX 中需要在 JSON 文件中配置多个任务,可选的JSON配置文件类型有:job、jobfile、stream 等。

如果想为 DataX 启动多个同时运行的任务,可以考虑使用 stream 类型的配置文件。

在 stream 类型配置文件中,可以设置多个作业流,每个作业流配置一个DataX任务。可以简单理解为,一个stream文件就是一个包含多个任务的任务集合,DataX会按照配置启动这些流,让其在同一个时间内执行。

下面是一个示例代码,演示如何在 stream 类型的配置文件中定义多个任务:

{
   
  "job": [
    {
   
      "setting": {
   
        "speed": {
   
          "channel": 3
        }
      },
      "content": [
        {
   
          "reader": {
   
            "name": "mysqlreader",
            "parameter": {
   
              "username": "root",
              "password": "xxxxx",
              "column": ["id", "name"],
              "connection": [{
   "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test"],"table": ["test_table"]}]
            }
          },
          "writer": {
   
            "name": "mysqlwriter",
            "parameter": {
   
              "username": "root",
              "password": "xxxxx",
              "column": ["id", "name"],
              "writeMode": "replace",
              "preSql": ["truncate table test_table"],
              "connection": [{
   "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test","table": "test_table"}]
            }
          }
        }
      ]
    },
    {
   
      "setting": {
   
        "speed": {
   
          "channel": 3
        }
      },
      "content": [
        {
   
          "reader": {
   
            "name": "mysqlreader",
            "parameter": {
   
              "username": "root",
              "password": "xxxxx",
              "column": ["id", "name"],
              "connection": [{
   "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test"],"table": ["test_table2"]}]
            }
          },
          "writer": {
   
            "name": "mysqlwriter",
            "parameter": {
   
              "username": "root",
              "password": "xxxxx",
              "column": ["id", "name"],
              "writeMode": "replace",
              "preSql": ["truncate table test_table2"],
              "connection": [{
   "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test","table": "test_table2"}]
            }
          }
        }
      ]
    }
  ]
}

在上述示例代码中,我们定义了两个任务,分别操作两个数据库表, DataX 会同时启动这两个任务,这样可以提高任务执行效率和吞吐量。

备注:示例代码仅供参考,实际配置中需要根据实际情况进行调整。

目录
相关文章
|
8天前
|
JSON 关系型数据库 数据库
【python】Python将100个PDF文件对应的json文件存储到MySql数据库(源码)【独一无二】
【python】Python将100个PDF文件对应的json文件存储到MySql数据库(源码)【独一无二】
【python】Python将100个PDF文件对应的json文件存储到MySql数据库(源码)【独一无二】
|
8天前
|
JSON 关系型数据库 数据库
【python】Python将100个PDF文件对应的json文件存储到MySql数据库(源码)【独一无二】
【python】Python将100个PDF文件对应的json文件存储到MySql数据库(源码)【独一无二】
|
8天前
|
JSON C++ 数据格式
【C++】Visual Studio C++使用配置Json库文件(老爷式教学)
【C++】Visual Studio C++使用配置Json库文件(老爷式教学)
|
6天前
|
JSON 前端开发 JavaScript
jQuery ajax读取本地json文件 三级联动下拉框
jQuery ajax读取本地json文件 三级联动下拉框
|
8天前
|
安全 JavaScript 前端开发
Angular 配置文件 tsconfig.lib.json 里的 strictTemplates 选型
Angular 配置文件 tsconfig.lib.json 里的 strictTemplates 选型
11 0
|
8天前
|
Web App开发 存储 JSON
Chrome插件开发(一)—manifest.json文件介绍
Chrome插件开发(一)—manifest.json文件介绍
14 0
|
8天前
|
JSON JavaScript 前端开发
vue的 blob文件下载文件时,后端自定义异常,并返回json错误提示信息,前端捕获信息并展示给用户
vue的 blob文件下载文件时,后端自定义异常,并返回json错误提示信息,前端捕获信息并展示给用户
|
8天前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之在 DataWorks 中使用数据集成从 MySQL 导入数据到 GDB 执行同步任务脚本的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
31 0
|
8天前
|
SQL JSON DataWorks
DataWorks产品使用合集之DataWorks 数据集成任务中,将数据同步到 Elasticsearch(ES)中,并指定 NESTED 字段中的 properties 类型如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
29 0
|
8天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之DataWorks 数据集成在同步任务中实现数据转换如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
27 1

热门文章

最新文章