mongodb如何快速离线加载数据,模仿mongodump后的数据格式? -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

mongodb如何快速离线加载数据,模仿mongodump后的数据格式?

2016-01-31 13:49:32 2687 1

我有几亿条数据需要写入mongodb,只需要定时一次性写入。
如果用mongo客户端的insert来写,时间都是按小时计的,可能得20多个小时甚至更久
我现在向缩短到分钟级别,因为数据我可以先离线做处理,只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点,master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式,上传到mongodb 的master服务器上,用mongoresttore命令加载。
不过mongodump导出的文件格式很乱,肉眼可能没法保证理清其正确规则,所以就问文各位大神有经验么?

网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已,里面我看了还是用mongo C++ api一条一条的insert进mongo的。
各位大神们还有其他更好的方法么?

取消 提交回答
全部回答(1)
  • 落地花开啦
    2019-07-17 18:36:40

    mongodump的文件格式是bson格式存放的数据 你自己实现也不是很容易 可以再单独搞台机器先把数据一个个倒入 然后再mongodump导出到master机器来mongoimport

    0 0
相关问答

1

回答

如何安装MongoDB5.0数据库?

2022-03-15 08:32:56 474浏览量 回答数 1

1

回答

如何下载MongoDB 4.4?

2021-12-23 17:08:22 301浏览量 回答数 1

1

回答

MongoDB数据的导出和导入

2019-12-10 16:21:32 477浏览量 回答数 1

1

回答

如何将mongodb3.4 升级到4.0

2018-10-30 13:01:03 2319浏览量 回答数 1

1

回答

mongodb3.4分片复制集启动mongos服务后无法登陆配置?

2017-01-14 12:49:10 6561浏览量 回答数 1

1

回答

mongodb如何指定目录文件夹恢复数据!

2016-06-29 11:02:16 2474浏览量 回答数 1

1

回答

怎么mongoDB浮点数精度

2016-06-15 11:15:28 1950浏览量 回答数 1

1

回答

mongodb网络端口的疑问

2016-02-22 14:01:18 1801浏览量 回答数 1

1

回答

mongodb的数据恢复问题

2016-02-07 10:34:09 1936浏览量 回答数 1

1

回答

如何去除 MongoDB中的组合重复项

2016-01-30 16:03:01 2832浏览量 回答数 1
+关注
落地花开啦
喜欢技术,喜欢努力的人
0
文章
7824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载