开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中datax传递参数给json配置文件的时候,能传递数组参数吗?

Flink CDC中datax传递参数给json配置文件的时候,能传递数组参数吗,想着把source、sink里的column列抽成外部参数,避免重复的json配置文件?

展开
收起
真的很搞笑 2023-09-12 18:32:18 185 0
1 条回答
写回答
取消 提交回答
  • 在Flink CDC中使用DataX传递数组参数给JSON配置文件时,是可以的。您可以将source和sink中的column列抽成外部参数,避免重复的JSON配置文件。

    下面是一个示例的JSON配置文件:

      "job": {
        "setting": {
          "speed": {
            "channel": 3
          }
        },
        "content": [
          {
            "reader": {
              "name": "mysqlreader",
              "parameter": {
                "username": "root",
                "password": "123456",
                "column": ["id", "name", "age"],  // column列作为数组参数
                "connection": [
                  {
                    "querySql": [
                      "select * from table1"
                    ],
                    "jdbcUrl": [
                      "jdbc:mysql://localhost:3306/test"
                    ]
                  }
                ]
              }
            },
            "writer": {
              "name": "mysqlwriter",
              "parameter": {
                "writeMode": "insert",
                "username": "root",
                "password": "123456",
                "column": ["id", "name", "age"],  // column列作为数组参数
                "connection": [
                  {
                    "jdbcUrl": "jdbc:mysql://localhost:3306/test",
                    "table": ["table2"]  // table列作为数组参数
                  }
                ]
              }
            }
          }
        ]
      }
    }
    

    在使用DataX运行任务时,可以通过命令行参数或配置文件指定参数的值。例如,通过命令行参数指定source和sink中的column列的值:

    ```python datax/bin/datax.py -p "-Dcolumn=['id', 'name', 'age']"

    ```

    这样就可以实现将column列作为外部参数传递给JSON配置文件,从而避免重复的配置文件。

    2023-10-20 14:24:25
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载