datax：如何使用datax

一、如何编译
从https://github.com/alibaba/DataX将工程代码下载到本地，配置好java和maven环境，执行命令mvn -U clean package assembly:assembly -Dmaven.test.skip=true即可实现打包，执行完毕之后会在工程目录下面有一个target目录，包含有一个datax的文件夹和datax.tar.gz文件即是我们需要的文件
二、如何使用
进入datax/bin目录下，新建test.json文件，文件内容为：

  {
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["/XXX/src"],
                        "encoding": "UTF-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "long"
                            },
                            {
                                "index": 1,
                                "type": "long"
                            }
                        ],
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "txtfilewriter",
                    "parameter": {
                        "path": "/XXX/dest",
                        "fileName": "dest",
                        "writeMode": "truncate"
                    }
                }
            }
        ]
    }
}

在当前目录下执行python datax.py test.json命令，即可将datax运行起来
三、参数说明

1、datax使用json作为配置文件，文件可以是本地的也可以是远程http服务器上面
2、json配置文件最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content是数据的源和目的
3、setting：用于设置全局channel配置，脏数据配置，限速配置等，本例中只配置了channel个数1，也就是使用单线程执行数据传输
4、content：
  1）reader：配置从哪里读数据
    name：插件名称，需要和工程中的插件名保持一致
    parameter：插件对应的输入参数
      path：源数据文件的路径
      encoding：数据编码
      fieldDelimiter：数据分隔符
      column：源数据按照分隔符分割之后的位置和数据类型
  2）writer：配置将数据写到哪里去
    name：插件名称，需要和工程中的插件名保持一致
    parameter：插件对应的输入参数
      path: 目标路径
      fileName: 目标文件名前缀
      writeMode: 写入目标目录的方式
5、具体插件参数含义可以查看datax官方文档
  1）https://github.com/alibaba/DataX/blob/master/txtfilereader/doc/txtfilereader.md
  2）https://github.com/alibaba/DataX/blob/master/txtfilewriter/doc/txtfilewriter.md

四、/XXX/src测试数据

  文件a:
    1,2
    3,4
    5,6