我们这边有个需求，我希望把我们的mongo数据库中的有400g多个g的数据（每年增加几十个g) 同步
我们这边有个需求，我希望把我们的mongo数据库中的有400g多个g的数据（每年增加几十个g) 同步进数仓， 然后，然后不定期（高频的时候会每周一次）有大概要取出至少100多个g（最大可能为200个g)的数据，有时候还不是一张表全量导出，而是做一些定制化的查询，再导出，请问这种方案可行嘛，如果可行，费用大部分在哪个环节？或者有没有其他的方案？
写回答
-
意中人就是我呀！方案可行，如果是不定期同步，可以用DataWorks+MaxCompute作为解决方案。 使用DataWorks数据集成离线同步MongoDB数据源中的数据，全量就不需要写检索查询条件，只有增量需要写检索查询条件，同步完成后可以创建一个odps SQL节点作为下游，执行定制化SQL查询，导出跟导入一样，使用DataWorks数据集成，导入是MongoDB Reader插件，导出是MongoDB Writer插件。 主要费用在DataWorks和MaxCompute的费用，如果只是做数据同步和查询，会有DataWorks数据集成资源组+调度资源组+MaxCompute存储+MaxCompute计算费用。 相关文档： MongoDB Reader插件：https://help.aliyun.com/document_detail/605053.html MongoDB Writer插件：https://help.aliyun.com/document_detail/605721.html DataWorks费用：https://help.aliyun.com/document_detail/118545.html MaxCompute费用：https://help.aliyun.com/document_detail/53056.htm（此回答整理自钉钉群“MaxCompute开发者社区2群”）
2023-03-29 10:10:51赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
