OceanBase知识加油站(工具篇二):使用导数工具了嘛?-阿里云开发者社区

开发者社区> 开发者小助手-bz2> 正文

OceanBase知识加油站(工具篇二):使用导数工具了嘛?

简介: 在日常工作中,我们经常需要将数据库中的对象和数据进行导入导出的操作。OceanBase 针对这种情况提供了专门的导数工具—— OBLOADER 和 OBDUMPER 来完成这项工作。日常导数据的工作是繁琐又细致,在导数据过程中您很容易遇到各种各样的问题。因此我们为大家提供了这篇导数工具的使用指导,本文将会从简单入门和性能调优两个方面指导大家使用 OceanBase 导数工具。
+关注继续查看


121.gif

在日常工作中,我们经常需要将数据库中的对象和数据进行导入导出的操作。OceanBase 针对这种情况提供了专门的导数工具—— OBLOADER 和 OBDUMPER 来完成这项工作。日常导数据的工作是繁琐又细致,在导数据过程中您很容易遇到各种各样的问题。因此我们为大家提供了这篇导数工具的使用指导,本文将会从简单入门和性能调优两个方面指导大家使用 OceanBase 导数工具。



基础功能入门


连接方式

OBLOADER和 OBDUMPER 支持两种连接方式。第一种是连接至 ODP 代理服务,要求您在输入命令时必需指定 -c 集群名 选项;第二种是直连到 OBServer 节点,您在输入命令时无需指定 -c 集群名 选项。通常,我们强烈建议您在使用 OBLOADER 或者 OBDUMPER 工具时,通过连接到 ODP 代理服务来访问 OceanBase 数据库。

示例语句如下所示:

image.gifimage.png

数据格式

OBLOADER和 OBDUMPER 支持三种数据格式,分别是 CSV 格式、Insert SQL 格式和 Delimited Text 格式。如何辨识这三种数据格式,请浏览另外一篇文档《准备好您的数据了吗?》。

下述以 OBLOADER 为例,展示了导入这三种格式数据的示例语句。

image.pngimage.gif

说明

--column-delimiter 选项在 CSV 格式中指定的是值定界符,即引号所包含的值域范围。--column-separator 选项在 CSV 格式中代表的是值分隔符。

--column-separator 选项仅用于 CSV 格式,分隔符只能使用单个字符。--column-splitter 选项仅用于 Delimited Text 格式,分隔符可以使用单个字符,也可以使用字符串。


下载并解压 OceanBase 导数工具后,只要输入上述必需的选项和参数,您就已经可以初步地使用导入导出工具。然而,当您处理大规模的数据库或者数据文件时,仅指定上述的基础选项参数显然是不够的。您还需要掌握一些性能调优的技巧,以便于更高效地完成数据导入导出操作。



导数性能优化


无论您正在使用的是 OBDUMPER 数据导出功能还是 OBLOADER 数据导入功能,我们都需要进行性能优化工作(主要就是调参)。这里涉及到两个环节的参数调整,第一个环节是调整 OceanBase 导数工具自身的参数,第二个环节是调整 OBServer 集群的参数。OceanBase 导数工具是由 Java 编写的工具,所以在运行 Bash 脚本之前,我们需要在 Bash 文件中修改 JVM 内存参数大小。通常,我们只需要修改 -Xms -Xmx 参数(默认值为 4 G),推荐将其修改为宿主机 60% 可用物理内存大小即可。其它与 OceanBase 导数工具自身相关的参数选项和设置建议如下。

工具相关的选项

image.gifimage.png

集群相关的参数

image.gifimage.png

说明无论是工具选项参数还是集群租户相关的参数,目前并没有绝对可用的经验值。我们也是根据实际的业务进行调参优化,以便于找到适合当前业务的最佳参数值。性能优化是一个逐步探索的过程。我们需要更多的耐心进行观察试验。在数据导入或者导出后,以上系统变量和参数务必要重新修改为默认值。

 


文件巧妙地运用高级权限


这里主要讲 OceanBase 导数工具内部所依赖的数据库的用户权限。OceanBase导数工具区别于其他数据库厂商导数据工具的关键地方,在于它充分利用了 OceanBase 数据库内部的一些分布式的特性并进行了专门的性能优化。使用时,您必须提供root@sys 用户的密码或者配置供应商提供的秘钥文件,这样 OceanBase 导数工具在运行的过程中才能查询到数据库内部的系统信息。所以在输入命令行参数时,除了需要输入业务用户的密码以外,还需要输入 root@sys 用户的密码,例如 -p '业务用户的密码' --sys-password 'root@sys的密码'

写在最后

关于OceanBase 导数工具更多的功能介绍和常见问题回答可以查看我们的官方文档💡 OceanBase 配套工具即将发布,敬请期待~,文档地址如下:


OBLOADER 2.1.13 版本(最新版本):

image.gifimage.png

OBDUMPER 2.1.13 版本(最新版本)

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8621 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
2831 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
10982 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10447 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
11934 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
12261 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
8794 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
4568 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21714 0
644
文章
0
问答
来源圈子
更多
蚂蚁OceanBase数据库团队,用于OceanBase技术原理、运维经验和案例分享、对外交流。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载