机器学习PAI中MaxCompute作為Store是有Life time days, 有方法成為永久的嗎?
在阿里巴巴的机器学习平台PAI(Platform of Artificial Intelligence)中,MaxCompute(原名ODPS,Open Data Processing Service)是一个用于大数据处理的计算服务。在MaxCompute中,数据通常存储在表(Table)中,而这些表可以有一个生命周期(Life Time),即数据在存储一定时间后可能会被自动删除。
生命周期的设置是为了管理存储空间和避免不必要的数据积累。然而,如果你希望某些数据在MaxCompute中是永久的,即不受生命周期的影响,你可以采取以下策略:
请注意,长期存储大量数据可能会产生显著的成本,因此在决定如何管理你的数据时,务必考虑存储成本和业务需求之间的平衡。同时,定期审查和更新你的数据管理策略也是一个好习惯,以确保它始终与你的业务目标保持一致。
阿里云MaxCompute作为PAI机器学习中的数据存储服务,默认情况下表和分区具有生命周期管理(Life Time,LT),这意味着数据会在指定天数后自动删除,以节省存储成本。如果你想让MaxCompute中的数据成为永久存储,可以采取以下方法:
关闭生命周期管理:
设置超长生命周期:
定期刷新生命周期:
使用归档存储:
不过,请注意,即使设置了超长的生命周期,还是会产生存储费用。阿里云鼓励用户根据数据的价值和访问频率合理规划数据生命周期,以平衡存储成本和数据价值。
MaxCompute作为存储在机器学习PAI中有生命周期(Life time days),但无法永久存储。
MaxCompute是阿里云提供的一种大数据计算服务,它适用于数据分析和机器学习场景。在阿里云的机器学习平台PAI(Platform of Artificial Intelligence)中,MaxCompute可以作为计算和存储资源的底座,支撑各种AI场景,包括用户增长模型等业务实践。然而,MaxCompute的资源是有生命周期的,这意味着存储在MaxCompute上的数据不是永久的,而是有一定的有效时间。
此外,关于MaxCompute资源的付费方式,通常有两种:按量计费标准版和包年包月标准计算资源。这两种付费方式都涉及到资源的使用时间和成本。如果想要延长数据的生命周期,可能需要通过购买更多的存储资源或者及时对数据进行迁移和备份来实现。但是,根据现有的信息,MaxCompute并不支持永久存储的选项。
因此,如果需要长期保存数据,可能需要考虑其他的存储解决方案,例如将数据导出到阿里云的其他存储服务,如OSS(Object Storage Service)等,这些服务可能提供更灵活的存储周期和更低的长期存储成本。
这个我找了一下,要设置的话,可以参考下这个文档 https://help.aliyun.com/zh/maxcompute/user-guide/lifecycle-management-operations?spm=a2c4g.11186623.0.i5 ,此回答整理自钉群“PAI-FeatureStore特征平台应用交流”
阿里云MaxCompute(原名ODPS)作为大数据计算服务,默认表数据是有生命周期的,即Life Time(TTL),超过这个时间的数据将会被自动清理。但是,如果您希望存储的数据是永久性的,可以将表的生命周期设置为最大值或者禁用生命周期管理。
在机器学习PAI中使用MaxCompute作为数据存储时,可以通过以下方式实现数据永久保存:
设置生命周期为最大值:
MaxCompute允许您设置生命周期的最大值,例如99999天,这样在实际应用中就等同于永久保留数据。
禁用生命周期管理:
虽然MaxCompute控制台可能不直接提供禁用生命周期的功能,但您可以在创建或更新表的时候,通过不设置生命周期属性,或者明确指定生命周期为一个非常大的数值来达到类似效果。
定期更新生命周期:
如果确实有生命周期限制且不能直接关闭,您需要定期更新表的生命周期,确保数据不会因为过期而被删除。
请注意,虽然您可以设置较大的生命周期,但长期保留大量数据可能会导致存储成本增加,请根据业务需求和成本预算合理规划数据生命周期策略。另外,具体操作方法请参考最新的阿里云MaxCompute官方文档或控制台功能选项。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。