PolarDB-X 1.0-用户指南-数据导入导出-通过数据集成导入导出数据

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 本文介绍如何通过数据集成在PolarDB-X中进行数据导入和导出。数据集成是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为20多种数据源提供不同网络环境下的离线(全量或增量)数据进出通道。

本文介绍如何通过数据集成在PolarDB-X中进行数据导入和导出。

数据集成是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点,可为20多种数据源提供不同网络环境下的离线(全量或增量)数据进出通道。

使用数据集成,您可以在PolarDB-X完成以下数据同步任务:

  • 将PolarDB-X的数据同步到到其他的数据源里,并将数据进行相应的处理;
  • 将处理好的其他数据源数据同步到PolarDB-X。

本文包含以下内容:

流程概述

数据同步流程主要包含以下几个步骤:

  • 第一步:数据源端新建表
  • 第二步:添加数据源
  • 第三步:向导模式或脚本模式配置同步任务
  • 第四步:运行同步任务,检查目标端的数据质量

准备工作

使用数据集成在PolarDB-X进行数据导入导出之前,请先注册阿里云账号并参考创建RAM子账号文档,完成以下准备工作:

  1. 开通阿里云官网实名认证账号,创建好账号的访问密钥,即 AccessKeys。
  2. 开通 MaxCompute,这样会自动产生一个默认的 ODPS 的数据源,并使用主账号登录大数据开发套件。
  3. 创建项目。您可以在项目中协作完成工作流,共同维护数据和任务等,因此使用大数据开发套件之前需要先创建一个项目。
  4. 如果想通过子账号创建数据集成任务,可以赋予其相应的权限。

新添加数据源

下面以添加PolarDB-X的数据源为例。

注意:只有项目管理员角色才能够新建数据源,其他角色的成员仅能查看数据源。

  1. 以项目管理员身份登录数加管理控制台
  2. 项目列表中对应项目的操作栏单击进入工作区
  3. 进入顶部菜单栏中的数据集成页面,单击左侧导航栏中的数据源
  4. 点击右上角的新增数据源,如下图所示:

  5. 在新增数据源弹出框中填写相关配置项,如下图所示:针对PolarDB-X数据源配置项的具体说明如下:
  • 数据源名称:由英文字母、数字、下划线组成且需以字符或下划线开头,长度不超过 60 个字符 。
  • 数据源描述:对数据源进行简单描述,不得超过 80 个字符 。
  • 数据源类型:当前选择的数据源类型 DRDS。
  • 网络类型:当前选择的网络类型。
  • JDBCUrl:JDBC 连接信息,格式为jdbc://mysql://serverIP:Port/database
  • 用户名/密码:对应的用户名和密码。
  1. 完成上述信息项的配置后,单击测试连通性
  2. 测试连通性通过后,单击确定

通过数据集成导入数据

下文以通过数据集成的向导模式将 MaxCompute(原 ODPS)数据同步到PolarDB-X为例。

  1. 在数据集成页面,新建同步任务。
  • 向导模式:向导模式是可视化界面配置同步任务, 一共涉及五步选择来源,选择目标,字段映射,通道控制,预览保存五个步骤。在每个不同的数据源之间,这几步的界面可能有不同的内容。向导模式可以转换成脚本模式。
  • 脚本模式:进入脚本界面你可以选择相应的模板,此模板包含了同步任务的主要参数,将相关的信息填写完整,但是脚本模式不能转化成向导模式。
  1. 选择数据来源。选择 MaxCompute 数据源及源头表 mytest,数据浏览默认是收起的,选择后单击下一步

  2. 选择目标。选择PolarDB-X数据源及目标表contact_infos,选择后单击下一步
  • preSql:执行数据同步任务之前率先执行的 SQL 语句。目前向导模式只允许执行一条 SQL 语句,脚本模式可以支持多条 SQL 语句,例如清除旧数据。
  • postSql:执行数据同步任务之后执行的 SQL 语句。目前向导模式只允许执行一条 SQL 语句,脚本模式可以支持多条 SQL 语句,例如加上某一个时间戳。
  1. 选择字段的映射关系。左侧源头表字段和右侧目标表字段为一一对应的关系,如下图所示。

  2. 在通道控制页面单击下一步,配置作业速率上限和脏数据检查规则。
  • 作业速率上限:是指数据同步作业可能达到的最高速率,其最终实际速率受网络环境、数据库配置等的影响。
  • 作业并发数:作业速率上限=作业并发数 * 单并发的传输速率。
  1. 当作业速率上限已选定的情况下,可以根据以下原则选择并发数:
  • 如果你的数据源是线上的业务库,建议您不要将并发数设置过大,以防对线上库造成影响;
  • 如果您对数据同步速率特别在意,建议您选择最大作业速率上限和较大的作业并发数。
  1. 完成以上配置后,上下滚动鼠标可查看任务配置,确定无误后单击保存

  2. 单击运行任务,直接运行同步任务结果。您可以将同步任务提交到调度系统中,调度系统会按照配置属性从第二天开始自动定时执行。

脚本模式配置同步任务

  1. {
  2.  "type":"job",
  3.  "version":"1.0",
  4.  "configuration":{
  5.    "reader":{
  6.      "plugin":"odps",
  7.      "parameter":{
  8.        "datasource":"lzz_odps",//数据源的名称,建议都添加数据源后进行同步
  9.        "table":"mytest",//数据来源的表名
  10.        "partition":"",//分区信息
  11.        "column":[
  12.          "id"
  13.        ]
  14.      }
  15.    },
  16.    "writer":{
  17.      "plugin":"drds",
  18.      "parameter":{
  19.        "datasource":"l_Drds_w",//数据源的名称,建议都添加数据源后进行同步
  20.        "table":"contact_infos",//目的表名
  21.        "preSql":[],//导入前准备语句
  22.        "postSql":[],//导入后准备语句
  23.        "column":[
  24.          "id"
  25.        ]
  26.      }
  27.    },
  28.    "setting":{
  29.      "speed":{
  30.        "mbps":"1",//一个并发的速率上线是1MB/S
  31.        "concurrent":"1"//并发的数目
  32.      }
  33.    }
  34.  }
  35. }

通过数据集成导出数据

下文以通过向导模式将PolarDB-X数据同步到 MaxCompute 为例。

  1. 在数据集成页面,新建同步任务。

  2. 选择数据来源。选择PolarDB-X数据源及源头表 bit_type_test。数据浏览默认是收起的,选择后单击下一步,如下图所示:
  • 过滤条件:筛选条件,DrdsReader 根据指定的 column、table、where 条件拼接 SQL,并根据这个 SQL 进行数据抽取 。例如在做测试时,可以将 where 条件指定实际业务场景,往往会选择当天的数据进行同步,可以将 where 条件指定为STRTODATE(‘${bdp.system.bizdate}’, ‘%Y%m%d’) <= taday AND taday < DATEADD(STRTODATE(‘${bdp.system.bizdate}’, ‘%Y%m%d’), interval 1 day)
  • 切分键:您可以将源数据表中某一列作为切分键,切分之后可进行并发数据同步。目前仅支持整型字段;建议使用主键或有索引的列作为切分键。
  1. 选择 MaxCompute 数据源及目标表 mytest,选择后单击下一步

  2. 单击下一步,选择字段的映射关系。左侧源头表字段和右侧目标表字段为一一对应的关系:您也可以单击“添加一行”增加映射关系:
  • 可以输入常量,输入的值需要使用英文单引号包括,如’abc’、’123’等;
  • 可以配合调度参数使用,如’${bdp.system.bizdate}’等;
  • 可以输入关系数据库支持的函数,如now()count(1)等;
  • 如果您输入的值无法解析,则类型显示为’-‘。
  1. 在通道控制页面单击下一步,配置作业速率上限和脏数据检查规则。
  • 作业速率上限:是指数据同步作业可能达到的最高速率,其最终实际速率受网络环境、数据库配置等的影响。
  • 作业并发数:作业速率上限=作业并发数 * 单并发的传输速率。
  1. 当作业速率上限已选定的情况下,可以按以下原则选择并发数:
  • 如果你的数据源是线上的业务库,建议您不要将并发数设置过大,以防对线上库造成影响;
  • 如果您对数据同步速率特别在意,建议您选择最大作业速率上限和较大的作业并发数。
  1. 完成以上配置后,上下滚动鼠标可查看任务配置。确认无误后单击保存

  2. 单击运行任务直接运行同步任务结果。您也可以将同步任务提交到调度系统中,调度系统会按照配置属性从第二天开始自动定时执行。

脚本模式配置同步任务

  1. {
  2.  "type":"job",
  3.  "version":"1.0",
  4.  "configuration":{
  5.    "reader":{
  6.      "plugin":"drds",
  7.      "parameter":{
  8.        "datasource":"l_Drds_w",//数据源的名称,建议都添加数据源后进行同步
  9.        "table":"bit_type_test",/数据来源的表名
  10.        "where":"",
  11.        "splitPk":"col2",//切分键
  12.        "column":[
  13.          "idbit"
  14.        ]
  15.      }
  16.    },
  17.    "writer":{
  18.      "plugin":"odps",
  19.      "parameter":{
  20.        "datasource":"lzz_odps",//数据源的名称,建议都添加数据源后进行同步
  21.        "table":"mytest",
  22.        "truncate":true,
  23.        "partition":"",//分区信息
  24.        "column":[
  25.          "id"
  26.        ]
  27.      }
  28.    },
  29.    "setting":{
  30.      "speed":{
  31.        "mbps":"1",//作业速率上限
  32.        "concurrent":"1"//并发数
  33.      },
  34.      "errorLimit":{
  35.        "record":"234"//错误记录数
  36.      }
  37.    }
  38.  }
  39. }
相关文章
|
3天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
3天前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3天前
|
SQL DataWorks 关系型数据库
DataWorks报错问题之dataX数据导入报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
DataWorks报错问题之dataX数据导入报错如何解决
|
3天前
|
Cloud Native 关系型数据库 分布式数据库
数据库性能诊断工具DBdoctor通过阿里云PolarDB产品生态集成认证
DBdoctor(V3.1.0)成功通过阿里云PolarDB分布式版(V2.3)集成认证,展现优秀兼容性和稳定性。此工具是聚好看科技的内核级数据库性能诊断产品,运用eBPF技术诊断SQL执行,提供智能巡检、根因分析和优化建议。最新版V3.1.1增加了对PolarDB-X和OceanBase的支持,以及基于cost的索引诊断功能。PolarDB-X是阿里巴巴的高性能云原生分布式数据库,兼容MySQL生态。用户可通过提供的下载地址、在线试用链接和部署指南体验DBdoctor。
150 0
|
3天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 0
|
3天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在DataWorks中,查看ODPS表的OSS对象如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
29 1
|
3天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
26 0
|
3天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在使用 DataWorks 数据集成同步 PostgreSQL 数据库中的 Geometry 类型数据如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 0
|
3天前
|
存储 关系型数据库 分布式数据库
PolarDB-X最佳实践系列(五):使用通义千问和存储过程快速生成测试数据
我们在测试数据库性能的过程中,通常需要生成一批测试数据。 以前,一般要写一段程序或者脚本来完成这项工作,但现在是2024年啦!时代变了!
PolarDB-X最佳实践系列(五):使用通义千问和存储过程快速生成测试数据
|
3天前
|
分布式计算 DataWorks Java
DataWorks常见问题之数据集成导出分区表的全量数据如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
49 0

热门文章

最新文章

相关产品

  • 云原生分布式数据库 PolarDB-X