《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(2)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB PostgreSQL 版,企业版 4核16GB
推荐场景:
HTAP混合负载
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(2)

《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(1) https://developer.aliyun.com/article/1228762?groupCode=polardbforpg



首先安装Sysbench,准备初始数据。创建数据库,然后通过Sysbench将其导入到库上。可通过oltp_insert负载准备初始数据。PolarDB-X兼容MySQL,因此连接串与MySQL一样。此处创建一个十万行的表,默认创建单表。PolarDB-X2.2中提供了auto库,提供了与MySQL一致的体验,会自动生成分库分表的规则。

 

image.png

 

也可以手动将单表改为分库分表,然后通过insert select将数据导入需要的表上。

 

image.png

 

初始数据准备就绪,查看表的数据以及建表信息。

 

image.png

 

通过上图命令进行数据导入。如上图,time会记录执行该条命令所花费的时间,-N可避免执行输出列名,-e代表执行后面的SQL语句,将数据从sbtest1重定向到本地文件data_10w.txt。

 

image.png

 

查看导出的文件,结果显示与表结构的数据一致。可通过“wc -l data_10w.txt”命令查看数据行数,显示为10万行。

 

image.png

 

也可以简单地通过字符串处理,将制表符改为逗号,导出后查看结果,显示如上图。

 

image.png

 

切换至galaxykube,登录上图所示 pod并查看,结果显示当前目录下没有文件。

 

image.png

 

通过上图hint将select in outfile功能打开,将文件select出来并存储至result.txt文件下。

 

下面演示通过LoadData语句导入数据。

 

image.png

 

登录时加上--local-infile参数才能执行LoadData语句。首先创建目标库表至test_one库,再创建与初始数据表一样结构的表。

 

image.png

 

通过LoadData语句将数据导入到目标表中。LoadData是单线程导入,因此导入速度较慢。

 

image.png

 

导入完成后,查看表内数据,结果如上图,证明导入无误。



《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(3) https://developer.aliyun.com/article/1228757?groupCode=polardbforpg

相关实践学习
跟我学:如何一键安装部署 PolarDB-X
《PolarDB-X 动手实践》系列第一期,体验如何一键安装部署 PolarDB-X。
相关文章
|
11天前
|
关系型数据库 MySQL 数据库
上手体验 PolarDB-X 数据库
PolarDB-X,一款高性能云原生分布式数据库。
40 1
|
19天前
|
DataWorks API 调度
DataWorks产品使用合集之在调度配置配置了节点的上游节点输出,没办法自动生成这个flow的依赖,该怎么操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
19天前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之建了 polar 与clickhouse的数据源。为什么数据库这里总是mysql呢
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
22天前
|
SQL 关系型数据库 Java
有大批量的数据导入到数据库,规则是数据库有相应主键的就update没有就insert怎么做效率快
有大批量的数据导入到数据库,规则是数据库有相应主键的就update没有就insert怎么做效率快
58 1
|
22天前
|
SQL 关系型数据库 数据建模
Dify数据库结构导出到PowerDesigner
Dify是开源大语言模型应用开发平台,助力快速构建生成式AI应用。PowerDesigner是SAP的企业级建模工具,用于数据建模、业务流程建模和企业架构规划。通过PostgreSQL的`pg_dump`导出表结构到SQL文件,然后在PowerDesigner中导入生成物理数据模型,从而实现Dify数据库结构到PowerDesigner的迁移。
45 1
|
23天前
|
Ubuntu 关系型数据库 分布式数据库
开源PolarDB -X 部署安装
本文记录了在Ubuntu 20.04上部署阿里云分布式数据库PolarDB-X的步骤,包括环境准备、安装依赖、下载源码、编译安装、配置启动,并分享了遇到的配置错误、依赖冲突和日志不清等问题。作者建议官方改进文档细节、优化代码质量和建立开发者社区。安装历史记录显示了相关命令行操作。尽管过程有挑战,但作者期待产品体验的提升。
201 6
|
24天前
|
SQL 关系型数据库 MySQL
mysql 数据库导出导入到本地文件
mysql 数据库导出导入到本地文件
37 0
|
24天前
|
数据库
利用navicat将数据库中的查询结果导出文件
利用navicat将数据库中的查询结果导出文件
16 0
|
24天前
|
SQL 关系型数据库 数据库
数据库导出sql
\导出sql\这样的文件通常包含创建表、索引、触发器等的SQL语句,以及插入数据的SQL语句,从而可以在另一个数据库系统上重新创建整个数据库。 以下是一些流行的数据库管理系统(DBMS)如何导出
|
1月前
|
关系型数据库 分布式数据库 PolarDB
开源PolarDB-X 部署安装全过程
本文介绍了开源PolarDB-X的部署安装步骤:首先,下载并解压PXD工具,配置至系统路径;然后,使用PXD工具进行部署,选择模式,输入参数,并等待部署完成;最后,验证集群状态。在遇到问题时,参考官方文档、社区支持或进行排查。建议包括优化文档、增强错误处理和建立用户反馈机制。

相关产品

  • 云原生数据库 PolarDB