从Mysql到阿里云时序数据库InfluxDB的数据迁移-阿里云开发者社区

开发者社区> 数据库> 正文

从Mysql到阿里云时序数据库InfluxDB的数据迁移

简介: 作为阿里在APM和IOT领域的重要布局,时序数据库承载着阿里对于物理网和未来应用监控市场的未来和排头兵,作为业内排名第一的时序数据库InfluxDB,其在国内和国际都拥有了大量的用户,阿里适逢其时,重磅推出了阿里云 InfluxDB®。

从Mysql 到 InfluxDB的数据迁移

背景

本文主要介绍如何使用阿里巴巴的开源工具Datax 实现从 MySQL 到 InfluxDB 的数据迁移。
DataX相关使用介绍请参阅 DataX 的 README 文档。
下面将首先介绍 DataX 工具本身,以及本次迁移工作涉及到的两个插件(MySQL Reader 和 InfluxDB Writer)。

DataX

 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具 / 平台,实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

MySQL Reader

 MySQL Reader 是DataX的一个插件,实现了从 MySQL 读取数据。

InfluxDB Writer

 InfluxDB Writer 是 DataX 的一个插件,实现了将数据点写入到阿里云时序数据库Influxdb版中。

Quick Start

步骤一:环境准备

  • Linux
  • JDK(1.8 以上,推荐 1.8)
  • Python(推荐 Python 2.6.x)
  • MySQL(目前只支持兼容 5.x,其他版本暂不保证兼容)
  • InfluxDB(目前只支持兼容 1.7.x 及以上版本,其他版本暂不保证兼容)

步骤二:下载 DataX 及其插件

 点击 链接 进行下载。

步骤三:利用 DataX 自带的迁移任务,检查迁移流程能否走通

 这里,我们先以最简单的 Stream Reader 到 Stream Writer 为例。因为这两个插件不依赖任何的外部环境,特别适合用来测试流程是否能走通。简单介绍下这两个插件,其中 Stream Reader 会随机地产生字符串,而 Stream Writer 则会将接受到的字符串输出到控制台,以此模拟一个最简单的数据迁移过程。

工具部署

 将下载后的安装包,解压至某个目录(作为 DATAX_HOME),即可运行迁移任务:

cd ${DATAX_HOME}
$ python bin/datax.py job/job.json

检查任务是否成功
 下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

任务启动时刻                    : 2019-04-26 11:18:07
任务结束时刻                    : 2019-04-26 11:18:17
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

步骤四:配置和启动 MySQL 到 InfluxDB 的迁移任务
 通过上述 Stream Reader 到 Stream Writer 的迁移任务,我们就可以确保整个 DataX 流程是没有问题的。下面就可以真正开始 MySQL Reader 到 InfluxDB Writer 迁移任务了。

配置迁移任务

 配置一个从 MySQL 数据库同步抽取数据到 TSDB 的任务,命名为 mysql2influxdb.json,完整的配置信息如下(针对各个配置参数的详细说明,请看下一章节”参数说明”):

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "column": [
              "host",
              "unit",
              "create_time",
              "cpu",
              "memory"
            ],
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:mysql://127.0.0.1:3306/datax"
                ],
                "table": [
                  "machine"
                ]
              }
            ],
            "password": "test",
            "splitPk": "id",
            "username": "test"
          }
        },
        "writer": {
          "name": "influxdbwriter",
          "parameter": {
            "column": [
              "host",
              "unit",
              "create_time",
              "cpu",
              "memory"
            ],
            "columnType": [
              "tag",
              "tag",
              "timestamp",
              "field",
              "field"
            ],
            "sourceDbType": "RDB",
            "endpoint": "https://ts-xxxxx.influxdata.rds.aliyuncs.com:3242",
            "username": "test",
            "password": "test",
            "database": "datax",
            "measurement": "machine"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 1
      }
    }
  }
}

启动 MySQL 2 InfluxDB 迁移任务

$ cd ${DATAX_HOME}/..
$ ls
  datax/  datax.tar.gz  mysql2influxdb.json
$ python datax/bin/datax.py mysql2influxdb.json

检查任务是否成功

 下面是任务结束后的汇总信息,看到如下内容,即可表示迁移任务已成功完成:

任务启动时刻                    : 2019-09-21 18:25:16
任务结束时刻                    : 2019-09-21 18:25:27
任务总计耗时                    :                 11s
任务平均流量                    :                3B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   3
读写失败总数                    :                   0

参数说明

 接下来,我们来看下各个配置项的含义:

MySQL Reader 相关

名称 类型 是否必需 描述 默认值 举例
jdbcUrl String 数据库的 JDBC 连接信息 jdbc:mysql://127.0.0.1:3306/datax
username String 数据源的用户名 root
password String 数据源指定用户名的密码 root
table String 需要同步的表 book
column Array 表中需要同步的列名集合 [] ["m"]
splitPk String 如果指定 splitPk,表示用户希望使用 splitPk 代表的字段进行数据分片 id

InfluxDB Writer 相关

名称 类型 是否必需 描述 默认值 举例
sourceDbType String 目前支持 TSDB 和 RDB 两个取值。其中,TSDB 指 OpenTSDB、InfluxDB、Prometheus、TimeScale 等;而 RDB 指 MySQL、Oracle、PostgreSQL、DRDS 等 TSDB RDB
column Array 表中需要同步的列名集合 [] ["host","unit","create_time","cpu","memory"]
columnType Array 关系型数据库中表字段,映射到 InfluxDB 中的类型。 支持的类型: timestamp:该字段是个时间戳; tag:该字段是个 tag; field:该字段代表具体的采集的指标值,其value一般是数值类型。 [] ["tag","tag","timestamp","field","field"]
endPoint String InfluxDB的网络地址 https://ts-xxxxx.influxdata.rds.aliyuncs.com:3242
username String InfluxDB用户名 test
password String InfluxDB用户密码 test
database String 导入InfluxDB的数据库名称 datax
measurement String 写入influxdb的measurement的名称 machine
createDatabase bool true: 会自动创建数据库 ; false: 不会自动创建数据库。(支持该参数的设置,但未出现在示例中) false false
batchSize int 每次批量数据的条数(需要保证大于 0, 支持该参数的设置,但未出现在示例中) 100 100

注意事项

确保与 InfluxDB 的网络是连通的

 因为 InfluxDB Writer 写入数据的方式是调用InfluxDB的api来完成的,所以需要确保迁移任务的进程能正常访问到 InfluxDB 暴露出来的 HTTP 接口的。否则,会报错 Connect Exception 异常。

确保与 MySQL 的网络是连通的

 因为 MySQL Reader 读取数据是通过 JDBC 来完成的,所以需要确保迁移任务的进程能正常访问到 MySQL 暴露出来的 JDBC 接口的。否则,会报错 Connect Exception 异常。

需要 column 字段顺序保持一致

 需要保证 InfluxDB Writer 插件中的 column 字段顺序和 MySQL reader 插件中配置的 column 字段顺序保持一致。否则,数据会错乱。

FAQ

Q:是否支持调整迁移进程的 JVM 内存大小?

A:支持的。以”从 MySQL 到 InfluxDB 的数据迁移任务”为例,启动命令如下:

python datax/bin/datax.py mysql2influxdb.json -j "-Xms4096m -Xmx4096m"

Q:将迁移任务运行在 ECS 上的用户,如何配置 VPC,以及常见问题有哪些?

A:参考《ECS 安全组配置案例》和《VPC 常见问题》。

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

其他文章