开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

我测试下了大数据计算MaxCompute,建的是分区表 ,往同一个分区覆盖插了两次不一样的数据?

我测试下了大数据计算MaxCompute,建的是分区表 ,往同一个分区覆盖插了两次不一样的数据,删除重建 可以先恢复表,然后再恢复重跑之前的数据是可以的,但是有个别的表重跑之前的数据还是跟重跑之后的一样,备份的数据有分区数或者记录数限制吗?

展开
收起
cuicuicuic 2023-12-24 15:50:59 53 0
4 条回答
写回答
取消 提交回答
  • 备份的分区数和记录数没有限制。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-25 08:03:51
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    备份的数据没有分区数或记录数限制。备份是针对整个表进行的,包括所有分区和记录。

    关于日切后是否能查看到23点删除的表的备份数据,需要根据具体情况来确定。如果备份是在24小时之前进行的,那么备份数据应该可以恢复。但是,如果备份是在日切之后进行的,那么备份数据将只包含日切后的数据,无法恢复23点删除的表的数据。

    "24小时"是指删表往前推24小时的时间范围。

    2023-12-24 18:42:39
    赞同 展开评论 打赏
  • 在MaxCompute中,备份和恢复的行为可能会受到以下因素的影响:

    1. 备份数据的保留时间

      • MaxCompute通常会为删除的数据保留一段时间(例如7天),在这段时间内,你可以从回收站中恢复被删除的数据。这个保留时间是从数据被删除的那一刻开始计算的,而不是从每天的日切时间开始。
    2. 分区表的备份和恢复

      • 对于分区表,备份和恢复通常是针对整个表或者特定的分区进行的。在恢复数据时,你需要明确指定要恢复到哪个分区。
    3. 备份数据的完整性

      • 备份的数据应该包含所有必要的元数据和数据记录,以便完整地恢复表结构和数据。一般来说,备份数据不应该有记录数或分区数的限制,但具体可能会受到MaxCompute服务的限制或者你的备份策略的影响。
    4. 重跑之前的数据覆盖问题

      • 如果你在同一个分区插入了两次不同的数据,并且在删除重建后恢复了表,但是有个别的表重跑之前的数据还是跟重跑之后的一样,这可能是由于备份数据的时间点问题或者恢复操作的具体实现导致的。

    关于你提到的特定情况:

    • 如果你在23点删除了表,并且一个小时之后日切,理论上你应该能够在接下来的7天内(默认的回收站保留期)看到23点删除的表的备份数据,只要这个时间段内没有其他删除操作。

    • 24小时的期限通常指的是从数据删除的时间点开始计算的24小时,而不是每天的日切时间。但是,具体的备份和恢复策略可能会根据你的设置和MaxCompute的服务条款有所不同。

    2023-12-24 18:59:58
    赞同 展开评论 打赏
  • 备份的数据有分区数或者记录数限制吗?
    大数据计算MaxCompute的备份策略并没有明确的分区数或记录数的限制。然而,备份的数据量可能会受到存储空间的限制。此外,根据数据的增长和变化,备份策略可能需要定期更新和优化,以确保数据的完整性和可用性。

    比如我23点删的表 一个小时之后日切了,还能看到23点删的表的备份数据吗?
    如果你在23点删除了一个表,但在下一个小时的日切时间之前,该表的数据仍然会被保留在备份中。日切时间是指每天数据切割的时间点,通常在每天的午夜或凌晨。在日切时间之后,该表的数据将被永久删除,并且无法从备份中恢复。

    你说的24小时是删表往前推24小时还是 每天日切的时候?
    这里的24小时是指从删除表的操作开始算起的24小时内。如果你在23点删除了一个表,那么在接下来的24小时内,你可以从备份中恢复该表的数据。超过这个时间限制,数据将无法恢复。

    2023-12-24 17:54:52
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载