「文档数据库迁移」从MongoDB迁移到Apache CouchDB
首席架构师 2020-01-18 08:36
本文将指导您完成使用简单的python脚本将数据从MongoDB迁移到Apache CouchDB的步骤。由于多种原因，包括源数据库和目标数据库之间的基本架构和设计差异，将数据从一个数据库迁移到另一个数据库可能会遇到挑战。MongoDB和CouchDB都是文档数据库，它们存储一组类似JSON的独立文档。本文假定您对这两个数据库有基本的了解，并且熟悉如何在这两个数据库中存储数据。下表提供了两个数据库之间的高级比较。要获得更深入的了解，您可以访问官方文档，网址为docs.mongodb.com和couchdb.apache.org。
迁移环境
本文支持所有环境，无论您的数据库托管在容器，VM还是裸机系统中。下图显示了此迁移示例中涉及的组件。
- 源数据库：一个三节点的MongoDB版本3.4.1集群。它具有多个数据库，集合和文档，需要迁移。数据库和相关文件存储在网络文件系统（NFS）共享上。
- 目标数据库：三个节点的CouchDB 2.2版集群。它仅具有在新的CouchDB安装期间创建的默认数据库。新数据库将在迁移过程中即时创建。本文假定您已经在环境中完成了CouchDB的安装。
- 迁移系统：这是一个运行最新的Ubuntu OS，pymongo版本3.4.0，python 3.x，python请求（HTTP库）二进制文件的系统。这用作执行python迁移脚本的迁移系统。该系统能够与MongoDB和CouchDB端点通信。
迁移方式：
以下步骤定义了此示例中遵循的迁移方法。
- 使用pymongo MongoClient启动与MongoDB服务端点的客户端会话。
- 查询和查看MongoDB中的数据库列表。
- 查询MongoDB中的每个数据库，并创建数据库中存在的所有集合的列表。
- 遍历每个集合并一次复制一个文档以进行迁移。
- 使用服务URL和标头信息建立CouchDB REST API连接。
- 使用与MongoDB中相同的数据库名称连接到CouchDB数据库。如果您是第一次连接数据库，则在CouchDB中将不可用。因此，该脚本将创建一个新的数据库，然后插入在步骤4中复制的第一个文档。该脚本将继续所有集合和数据库的文档迁移。
本文介绍的迁移方法适用于较小的数据库
迁移之前
在开始迁移之前，您需要了解这两个数据库之间的关键区别。MongoDB将文档存储在集合中，而CouchDB将文档直接存储在数据库中（请参阅本文开头显示的比较表中的“对象存储”）。记住上述差异，此示例在迁移过程中在CouchDB中创建新数据库时将集合名称附加到数据库名称中。参见下面的示例，
MongoDB: Database = SalesDB, Collection = Atlanta Database = SalesDB, Collection = Ohio CouchDB: Database = SalesDB-Atlanta Database = SalesDB-Ohio
在CouchDB数据库中追加集合名称仅出于理智的目的，而不是迁移所必需的。您可以选择使用与MongoDB中相同的数据库名称来创建CouchDB数据库，只要这些名称是唯一的即可。
不支持：此迁移示例不支持包含带有附件的文档的数据库。
让我们迁移
您应该在要运行迁移脚本的迁移系统上安装以下依赖项。
pymongo version 3.4.0python 3.x
接下来，将下面列出的python脚本（mongo2couch.py）复制到迁移系统，并使用以下命令运行迁移脚本。确保根据您的环境用适当的值替换MongoDB和CouchDB端点。
$ python mongo2couch.py -c 'http://admin:password@testcouchdb:5984' -m 'mongodb://localhost:27017'
档案：mongo2couch.py
https://gist.github.com/Kailashcj/d91ed66e2885db968fecf5de2c9b056d
运行脚本后，它将测试与CouchDB和MongoDB端点的连接。建立成功的连接后，它将读取MongoDB中存在的所有数据库。接下来，它将遍历除“ admin”和“ local”数据库之外的每个数据库中的集合，因为它们是MongoDB的特殊内部数据库。该脚本将读取每个集合中存在的文档，并将其复制到CouchDB数据库。首次插入文档时，它将在CouchDB中创建适当的数据库。该脚本将报告执行期间的所有错误。默认情况下，所有报告“不可JSON可序列化”错误的文档都会被跳过。如果您的环境中有这些错误，可以参考README.md来解决。最后，脚本将生成一个迁移摘要，如下所示。
您可以登录到CouchDB Web管理仪表板，以验证新数据库的创建以及这些数据库中已迁移的文档。
摘要
我希望这篇文章易于理解，并能帮助您成功地将文档迁移到CouchDB数据库。祝好运。
