开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

咨询下DataWorks数据地图里显示表的生命周期为“永久”,这个判断逻辑是什么?我创建的分区表生命

咨询下DataWorks数据地图里显示表的生命周期为“永久”,这个判断逻辑是什么?我创建的分区表生命周期为36500 和非分区表 在数据地图上都是显示的"永久“?image.png

展开
收起
真的很搞笑 2023-07-13 09:46:32 147 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 DataWorks 数据地图中,表的生命周期为 "永久" 是指该表的元数据信息在数据地图中不会过期或被删除,即使表本身已经被删除,数据地图中的元数据信息也会一直存在,直到您手动删除它。
    具体而言,DataWorks 数据地图会通过定期扫描元数据信息的方式来更新表的状态和属性信息,包括表的创建时间、修改时间、所有者、字段信息、分区信息等。如果数据地图在一段时间内无法获取到该表的元数据信息,就会将该表标记为 "已删除" 状态,但是元数据信息本身并不会被删除,仍然可以在数据地图中查看到该表的历史信息。
    对于您创建的分区表,其生命周期也会被标记为 "永久",即使您删除了该表,数据地图中的元数据信息仍然会保留,以便您查看该表的历史信息和数据使用情况。需要注意的是,如果您创建的分区表中的

    2023-07-30 18:16:35
    赞同 展开评论 打赏
  • DataWorks数据地图中显示表的生命周期为"永久"并不代表实际的存储周期是永久的。这个判断逻辑可能存在一些误导。

    在DataWorks数据地图中,"永久"只是表示表在元数据管理系统中的存在,并没有直接关联到表的实际存储周期。无论表是分区表还是非分区表,它们在数据地图上都被标记为"永久",这只是表示这些表在元数据中持久存在,方便数据地图展示和管理。

    如果您创建了一个分区表并设置了一个特定的生命周期,它应该在实际的物理存储层面上按照指定的生命周期进行管理。例如,如果您将分区表的生命周期设置为36500(天),那么根据设置,过了36500天后,DataWorks或底层存储系统会自动清理该分区中的数据。

    2023-07-13 13:21:44
    赞同 展开评论 打赏
  • mc那边100年相当于永久 应该是这么理解的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-13 11:25:28
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载