咨询下DataWorks数据地图里显示表的生命周期为“永久”,这个判断逻辑是什么?我创建的分区表生命

咨询下DataWorks数据地图里显示表的生命周期为“永久”,这个判断逻辑是什么?我创建的分区表生命周期为36500 和非分区表 在数据地图上都是显示的"永久“?image.png

展开
收起
真的很搞笑 2023-07-13 09:46:32 195 分享 版权
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 DataWorks 数据地图中,表的生命周期为 "永久" 是指该表的元数据信息在数据地图中不会过期或被删除,即使表本身已经被删除,数据地图中的元数据信息也会一直存在,直到您手动删除它。
    具体而言,DataWorks 数据地图会通过定期扫描元数据信息的方式来更新表的状态和属性信息,包括表的创建时间、修改时间、所有者、字段信息、分区信息等。如果数据地图在一段时间内无法获取到该表的元数据信息,就会将该表标记为 "已删除" 状态,但是元数据信息本身并不会被删除,仍然可以在数据地图中查看到该表的历史信息。
    对于您创建的分区表,其生命周期也会被标记为 "永久",即使您删除了该表,数据地图中的元数据信息仍然会保留,以便您查看该表的历史信息和数据使用情况。需要注意的是,如果您创建的分区表中的

    2023-07-30 18:16:35
    赞同 展开评论
  • DataWorks数据地图中显示表的生命周期为"永久"并不代表实际的存储周期是永久的。这个判断逻辑可能存在一些误导。

    在DataWorks数据地图中,"永久"只是表示表在元数据管理系统中的存在,并没有直接关联到表的实际存储周期。无论表是分区表还是非分区表,它们在数据地图上都被标记为"永久",这只是表示这些表在元数据中持久存在,方便数据地图展示和管理。

    如果您创建了一个分区表并设置了一个特定的生命周期,它应该在实际的物理存储层面上按照指定的生命周期进行管理。例如,如果您将分区表的生命周期设置为36500(天),那么根据设置,过了36500天后,DataWorks或底层存储系统会自动清理该分区中的数据。

    2023-07-13 13:21:44
    赞同 展开评论
  • mc那边100年相当于永久 应该是这么理解的,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-13 11:25:28
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理