开发者社区> 问答> 正文

mongodb如何快速离线加载数据,模仿mongodump后的数据格式?

落地花开啦 2016-01-31 13:49:32 1439

我有几亿条数据需要写入mongodb,只需要定时一次性写入。
如果用mongo客户端的insert来写,时间都是按小时计的,可能得20多个小时甚至更久
我现在向缩短到分钟级别,因为数据我可以先离线做处理,只要求导入mongo的时候要快
因为mongodb集群的写入是发生在master节点,master节点的IO能力有限。
我现在想到的就是把这几亿条数据组织称mongodump的导出格式,上传到mongodb 的master服务器上,用mongoresttore命令加载。
不过mongodump导出的文件格式很乱,肉眼可能没法保证理清其正确规则,所以就问文各位大神有经验么?

网上说的导入工具mongoimport只不过是省了编码的功夫可以直接命令行操作导入文件而已,里面我看了还是用mongo C++ api一条一条的insert进mongo的。
各位大神们还有其他更好的方法么?

NoSQL API MongoDB C++ 数据格式
分享到
取消 提交回答
全部回答(1)
  • 落地花开啦
    2019-07-17 18:36:40

    mongodump的文件格式是bson格式存放的数据 你自己实现也不是很容易 可以再单独搞台机器先把数据一个个倒入 然后再mongodump导出到master机器来mongoimport

    0 0
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程