开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问下,我这边有一个从polarDB拉取数据到maxcompute中的资源问题。一开始我是计划每次执

请问下,我这边有一个从polarDB拉取数据到maxcompute中的资源问题。一开始我是计划每次执行任务时,都直接从polardb拉取数据到MaxCompute中进行分析。但是说这样消耗性能比较大,建议采用每小时周期同步的方式,周期的将数据同步到MaxCompute的ods表中,相对任务执行的数据可能不那么“实时”或需要等待“同步执行”。我这边是计划采用第二种方式。

但是我有个问题,我想知道“从polardb拉取数据到MaxCompute中”,这个对资源的消耗有多大?是否有什么地方可以直接看到实时同步任务对资源消耗的数据或公式能进行计算呢?作为方案选型的一个补充说明。谢谢。

展开
收起
游客3oewgrzrf6o5c 2022-07-29 13:56:34 722 0
1 条回答
写回答
取消 提交回答
  • 使用同步解决方案polardb for mysql一键实时同步到MaxCompute(2, 6]个库,建议1台 8c16g,(6, 10]个库,1台 12c24g(此答案整理自DataWorks交流群(答疑@机器人))

    2022-07-29 14:11:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载