《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(6)

简介: 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(6)

《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X数据导入导出(5) https://developer.aliyun.com/article/1228754?groupCode=polardbforpg



再从MySQL中将数据导出为mysql_10w.csv文件,并查看结果,如上图。

 

接下来将数据导入到PolarDB-X中。

 

image.png

 

首先,清除前面导入的数据,然后执行上图batch-tool工具导入命令,可将mysql导出的数据导入到PolarDB-X中。

 

image.png

 

最后可查看从MySQL中导出的数据,也是通过逗号分隔的普通的CSV文件格式,与PolarDB-X导出的数据一致,证明可以互相导入导出。

 

image.png

 

前文演示的导入导出过程均存在中间数据,PolarDB-X还可以通过CDC节点与MySQL同步,没有中间态的存在。CDC节点能够将多个DN的binlog汇聚,变成全局统一的、一致的binlog,完全兼容MySQL的binlog格式以及MySQL的Replication协议。

 

image.png

 

Batch-Tool的特点有三:

 

• 采用多线程操作。文件的读取通过多线程ring buffer,形成生产者-消费者模型,能够实现加速,消费时也通过多线程执行

• 使用PreparedStatement批量插入。

• 结合sharding规则、即分库分表规则,可提高执行效率。

 

image.png

 

Batch-Tool已经开源且发布了新的版本,可支持流式压缩导出和流式解压导入,支持加密解密的导入导出,目前可支持CSV、TXT、EXCEL文件格式。另外,也支持从yaml文件中配置参数,简化命令行的参数编写。

相关文章
|
SQL 关系型数据库 MySQL
开源新发布|PolarDB-X v2.4.2开源生态适配升级
PolarDB-X v2.4.2开源发布,重点完善生态能力:新增客户端驱动、开源polardbx-proxy组件,支持读写分离与高可用;强化DDL变更、扩缩容等运维能力,并兼容MySQL主备复制及MCP AI生态。
开源新发布|PolarDB-X v2.4.2开源生态适配升级
|
存储 关系型数据库 分布式数据库
喜报|阿里云PolarDB数据库(分布式版)荣获国内首台(套)产品奖项
阿里云PolarDB数据库管理软件(分布式版)荣获「2024年度国内首版次软件」称号,并跻身《2024年度浙江省首台(套)推广应用典型案例》。
|
SQL 关系型数据库 MySQL
开源新发布|PolarDB-X v2.4.2开源生态适配升级
PolarDB-X v2.4.2发布,新增开源Proxy组件与客户端驱动,支持读写分离、无感高可用切换及DDL在线变更,兼容MySQL生态,提升千亿级大表运维稳定性。
2469 24
开源新发布|PolarDB-X v2.4.2开源生态适配升级
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
|
关系型数据库 MySQL 分布式数据库
航天壹进制 PolarDB-X 1.0(DRDS) 数据备份容灾解决方案
本方案基于航天壹进制黑方系统,结合MySQL逻辑备份技术,为阿里云PolarDB-X 1.0(DRDS)构建非侵入式、高可靠的数据备份与恢复体系,支持全量备份、AES-256加密、压缩重删及灵活策略管理,兼容RDS MySQL操作习惯,保障数据安全与业务连续性。
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
人工智能 关系型数据库 MySQL
开源PolarDB-X:单节点误删除binlog恢复
本文由邵亚鹏撰写,分享了在使用开源PolarDB-X过程中,因误删binlog导致数据库服务无法启动的问题及恢复过程。作者结合实践经验,详细介绍了在无备份情况下如何通过单节点恢复机制重启数据库,并提出了避免类似问题的几点建议,包括采用高可用部署、定期备份及升级至最新版本等。
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
阿里云PolarDB凭借全球首创基于CXL Switch的分布式内存池技术,在SIGMOD 2025上荣获工业赛道“最佳论文奖”,连续两年蝉联该顶会最高奖项。其创新架构PolarCXLMem打破传统RDMA技术瓶颈,性能提升2.1倍,并已落地应用于内存池化场景,推动大模型推理与多模态存储发展,展现CXL Switch在高速互联中的巨大潜力。
阿里云PolarDB数据库蝉联SIGMOD最佳论文奖
|
存储 关系型数据库 MySQL
开源PolarDB- X|替换Opengemini时序数据场景下产品力校验
本文作者:黄周霖,数据库技术专家,就职于南京北路智控股份有限公司,负责数据库运维及大数据开发。

相关产品

  • 云原生数据库 PolarDB