OceanBase知识加油站(工具篇二):使用导数工具了嘛?

简介: 在日常工作中,我们经常需要将数据库中的对象和数据进行导入导出的操作。OceanBase 针对这种情况提供了专门的导数工具—— OBLOADER 和 OBDUMPER 来完成这项工作。日常导数据的工作是繁琐又细致,在导数据过程中您很容易遇到各种各样的问题。因此我们为大家提供了这篇导数工具的使用指导,本文将会从简单入门和性能调优两个方面指导大家使用 OceanBase 导数工具。


121.gif

在日常工作中,我们经常需要将数据库中的对象和数据进行导入导出的操作。OceanBase  针对这种情况提供了专门的导数工具—— OBLOADER 和 OBDUMPER  来完成这项工作。日常导数据的工作是繁琐又细致,在导数据过程中您很容易遇到各种各样的问题。因此我们为大家提供了这篇导数工具的使用指导,本文将会从简单入门和性能调优两个方面指导大家使用  OceanBase 导数工具。



基础功能入门


连接方式

OBLOADER和  OBDUMPER 支持两种连接方式。第一种是连接至 ODP 代理服务,要求您在输入命令时必需指定 -c 集群名 选项;第二种是直连到  OBServer 节点,您在输入命令时无需指定 -c 集群名 选项。通常,我们强烈建议您在使用 OBLOADER 或者 OBDUMPER  工具时,通过连接到 ODP 代理服务来访问 OceanBase 数据库。

示例语句如下所示:

image.gifimage.png

数据格式

OBLOADER和 OBDUMPER 支持三种数据格式,分别是 CSV 格式、Insert SQL 格式和 Delimited Text 格式。如何辨识这三种数据格式,请浏览另外一篇文档《准备好您的数据了吗?》。

下述以 OBLOADER 为例,展示了导入这三种格式数据的示例语句。

image.pngimage.gif

说明

--column-delimiter 选项在 CSV 格式中指定的是值定界符,即引号所包含的值域范围。--column-separator 选项在 CSV 格式中代表的是值分隔符。

--column-separator 选项仅用于 CSV 格式,分隔符只能使用单个字符。--column-splitter 选项仅用于 Delimited Text 格式,分隔符可以使用单个字符,也可以使用字符串。


下载并解压  OceanBase  导数工具后,只要输入上述必需的选项和参数,您就已经可以初步地使用导入导出工具。然而,当您处理大规模的数据库或者数据文件时,仅指定上述的基础选项参数显然是不够的。您还需要掌握一些性能调优的技巧,以便于更高效地完成数据导入导出操作。



导数性能优化


无论您正在使用的是  OBDUMPER 数据导出功能还是 OBLOADER  数据导入功能,我们都需要进行性能优化工作(主要就是调参)。这里涉及到两个环节的参数调整,第一个环节是调整 OceanBase  导数工具自身的参数,第二个环节是调整 OBServer 集群的参数。OceanBase  导数工具是由 Java 编写的工具,所以在运行 Bash 脚本之前,我们需要在 Bash 文件中修改 JVM  内存参数大小。通常,我们只需要修改 -Xms -Xmx 参数(默认值为 4 G),推荐将其修改为宿主机 60% 可用物理内存大小即可。其它与  OceanBase 导数工具自身相关的参数选项和设置建议如下。

工具相关的选项

image.gifimage.png

集群相关的参数

image.gifimage.png

说明 无论是工具选项参数还是集群租户相关的参数,目前并没有绝对可用的经验值。我们也是根据实际的业务进行调参优化,以便于找到适合当前业务的最佳参数值。性能优化是一个逐步探索的过程。我们需要更多的耐心进行观察试验。 在数据导入或者导出后,以上系统变量和参数务必要重新修改为默认值。

 


文件巧妙地运用高级权限


这里主要讲 OceanBase 导数工具内部所依赖的数据库的用户权限。OceanBase导数工具区别于其他数据库厂商导数据工具的关键地方,在于它充分利用了  OceanBase 数据库内部的一些分布式的特性并进行了专门的性能优化。使用时,您必须提供root@sys  用户的密码或者配置供应商提供的秘钥文件,这样 OceanBase  导数工具在运行的过程中才能查询到数据库内部的系统信息。所以在输入命令行参数时,除了需要输入业务用户的密码以外,还需要输入 root@sys  用户的密码,例如 -p '业务用户的密码' --sys-password 'root@sys的密码'

写在最后

关于OceanBase 导数工具更多的功能介绍和常见问题回答可以查看我们的官方文档💡 OceanBase 配套工具即将发布,敬请期待~,文档地址如下:


OBLOADER 2.1.13 版本(最新版本):

image.gifimage.png

OBDUMPER 2.1.13 版本(最新版本)

image.png

相关文章
|
11天前
|
SQL 关系型数据库 MySQL
在OceanBase数据库中,mysqldump工具是可以用于数据备份的
【2月更文挑战第2天】在OceanBase数据库中,mysqldump工具是可以用于数据备份的
68 6
|
7月前
|
SQL OceanBase
OceanBase Database Assistant (OBDA) 的 `obdumper` 工具
OceanBase Database Assistant (OBDA) 的 `obdumper` 工具
108 1
|
监控 测试技术 分布式数据库
更易用的OceanBase|生态工具征文大赛正式开启!
OceanBase 一直在思考,什么样的数据库对用户而言更易用?
245 0
更易用的OceanBase|生态工具征文大赛正式开启!
|
SQL XML JSON
OceanBase 知识加油站(工具篇一):准备好您的数据了吗?
OceanBase【知识加油站】上线啦!干货满满,配合上手实操更佳哟~
OceanBase 知识加油站(工具篇一):准备好您的数据了吗?
|
9天前
|
关系型数据库 MySQL 数据库
实时计算 Flink版产品使用合集之支持将数据写入 OceanBase 数据库吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
32 5
|
11天前
|
Oracle 关系型数据库 数据库
OceanBase数据库常见问题之租户创建后想要改字符集如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
11天前
|
SQL 存储 监控
OceanBase数据库常见问题之提示no such file ordirectory如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
11天前
|
SQL Oracle 关系型数据库
OceanBase数据库常见问题之慢SQL不显示如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
11天前
|
SQL 关系型数据库 数据库
OceanBase数据库常见问题之upgrade_post想要不显示明文密码如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
11天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南