开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

maxcomputer回流数据到rds,两则必须都创建分区表吗?

maxcomputer回流数据到rds,两则必须都创建分区表吗?

展开
收起
滴滴滴~ 2023-03-29 15:39:43 226 0
2 条回答
写回答
取消 提交回答
  • 否,不是必须两端都创建分区表。

    MaxCompute 回流数据到 RDS 时,分区表的使用取决于具体场景和需求。

    需要两端都创建分区表的情况:

    • 如果 MaxCompute 端和 RDS 端的数据需要按照相同的字段和规则分区,并且需要保持分区对齐。在这种情况下,两端都创建分区表可以确保数据在回流时按照分区进行写入,从而避免数据错位和数据丢失。

    不需要两端都创建分区表的情况:

    • 如果 MaxCompute 端和 RDS 端的数据分区规则不同,或者 RDS 端不需要分区。在这种情况下,MaxCompute 端可以创建分区表,而在 RDS 端创建非分区表。回流时,MaxCompute 会根据分区规则将数据写入 RDS 端的非分区表中。
    • 如果 RDS 端已经存在非分区表,并且不需要重新分区。在这种情况下,MaxCompute 端可以创建分区表,并在回流时将数据按照分区规则写入 RDS 端的非分区表中。

    建议:

    在决定是否两端都创建分区表时,需要考虑以下因素:

    • 数据分区规则的一致性
    • 避免数据错位和数据丢失的需要
    • RDS 端表结构的限制

    如果你不确定是否需要两端都创建分区表,建议先尝试只在 MaxCompute 端创建分区表,然后观察回流后的数据是否正确。如果数据错位或丢失,则需要在 RDS 端也创建分区表。

    2024-02-28 17:54:38
    赞同 展开评论 打赏
  • 根据实际的需求情况来 增量同步建议是都建分区表。此答案整理自钉群“DataWorks交流群(答疑@机器人)” image.png

    2023-03-30 09:08:09
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
TcpRT:阿里云RDS智能诊断系统云上大规模部署自动化服务的客户实践经验 立即下载
TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系 立即下载
袋鼠云基于阿里云RDS的数据库架构实践 立即下载

相关镜像