《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(6)

本文涉及的产品
云数据库 PolarDB MySQL 版,列存表分析加速 4核8GB
PolarDB Agent Express,2核4GB
PolarDB Agent Flow,2核4GB
简介: 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(6)

《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(5) https://developer.aliyun.com/article/1228754?groupCode=polardbforpg



再从MySQL中将数据导出为mysql_10w.csv文件,并查看结果,如上图。

 

接下来将数据导入到PolarDB-X中。

 

image.png

 

首先,清除前面导入的数据,然后执行上图batch-tool工具导入命令,可将mysql导出的数据导入到PolarDB-X中。

 

image.png

 

最后可查看从MySQL中导出的数据,也是通过逗号分隔的普通的CSV文件格式,与PolarDB-X导出的数据一致,证明可以互相导入导出。

 

image.png

 

前文演示的导入导出过程均存在中间数据,PolarDB-X还可以通过CDC节点与MySQL同步,没有中间态的存在。CDC节点能够将多个DN的binlog汇聚,变成全局统一的、一致的binlog,完全兼容MySQL的binlog格式以及MySQL的Replication协议。

 

image.png

 

Batch-Tool的特点有三:

 

采用多线程操作。文件的读取通过多线程ring buffer,形成生产者-消费者模型,能够实现加速,消费时也通过多线程执行

使用PreparedStatement批量插入。

结合sharding规则、即分库分表规则,可提高执行效率。

 

image.png

 

Batch-Tool已经开源且发布了新的版本,可支持流式压缩导出和流式解压导入,支持加密解密的导入导出,目前可支持CSV、TXT、EXCEL文件格式。另外,也支持从yaml文件中配置参数,简化命令行的参数编写。

相关文章
|
11月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
11月前
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
12月前
|
关系型数据库 分布式数据库 数据库
再获殊荣,阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
内存池化技术新突破,阿里云PolarDB蝉联SIGMOD最佳论文奖
|
9月前
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
|
9月前
|
数据采集 关系型数据库 MySQL
python爬取数据存入数据库
Python爬虫结合Scrapy与SQLAlchemy,实现高效数据采集并存入MySQL/PostgreSQL/SQLite。通过ORM映射、连接池优化与批量提交,支持百万级数据高速写入,具备良好的可扩展性与稳定性。
|
9月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
10月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
9月前
|
人工智能 Java 关系型数据库
使用数据连接池进行数据库操作
使用数据连接池进行数据库操作
222 11
|
9月前
|
SQL 关系型数据库 MySQL
如何将Excel表的数据导入RDS MySQL数据库?
本文介绍如何通过数据管理服务DMS将Excel文件(转为CSV格式)导入RDS MySQL数据库,涵盖建表、编码设置、导入模式选择及审批执行流程,并提供操作示例与注意事项。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB