咨询下DataWorks数据地图里显示表的生命周期为“永久”,这个判断逻辑是什么?我创建的分区表生命周期为36500 和非分区表 在数据地图上都是显示的"永久“?
在 DataWorks 数据地图中,表的生命周期为 "永久" 是指该表的元数据信息在数据地图中不会过期或被删除,即使表本身已经被删除,数据地图中的元数据信息也会一直存在,直到您手动删除它。
具体而言,DataWorks 数据地图会通过定期扫描元数据信息的方式来更新表的状态和属性信息,包括表的创建时间、修改时间、所有者、字段信息、分区信息等。如果数据地图在一段时间内无法获取到该表的元数据信息,就会将该表标记为 "已删除" 状态,但是元数据信息本身并不会被删除,仍然可以在数据地图中查看到该表的历史信息。
对于您创建的分区表,其生命周期也会被标记为 "永久",即使您删除了该表,数据地图中的元数据信息仍然会保留,以便您查看该表的历史信息和数据使用情况。需要注意的是,如果您创建的分区表中的
DataWorks数据地图中显示表的生命周期为"永久"并不代表实际的存储周期是永久的。这个判断逻辑可能存在一些误导。
在DataWorks数据地图中,"永久"只是表示表在元数据管理系统中的存在,并没有直接关联到表的实际存储周期。无论表是分区表还是非分区表,它们在数据地图上都被标记为"永久",这只是表示这些表在元数据中持久存在,方便数据地图展示和管理。
如果您创建了一个分区表并设置了一个特定的生命周期,它应该在实际的物理存储层面上按照指定的生命周期进行管理。例如,如果您将分区表的生命周期设置为36500(天),那么根据设置,过了36500天后,DataWorks或底层存储系统会自动清理该分区中的数据。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。