开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

机器学习PAI中MaxCompute有方法成為永久的嗎?

机器学习PAI中MaxCompute作為Store是有Life time days, 有方法成為永久的嗎?

展开
收起
cuicuicuic 2024-02-15 09:19:07 34 0
5 条回答
写回答
取消 提交回答
  • 在阿里巴巴的机器学习平台PAI(Platform of Artificial Intelligence)中,MaxCompute(原名ODPS,Open Data Processing Service)是一个用于大数据处理的计算服务。在MaxCompute中,数据通常存储在表(Table)中,而这些表可以有一个生命周期(Life Time),即数据在存储一定时间后可能会被自动删除。

    生命周期的设置是为了管理存储空间和避免不必要的数据积累。然而,如果你希望某些数据在MaxCompute中是永久的,即不受生命周期的影响,你可以采取以下策略:

    1. 不设置生命周期:对于不希望被自动删除的数据表,你可以不为其设置生命周期。这样,数据将一直保持在MaxCompute中,直到你显式地删除它。
    2. 使用归档存储:MaxCompute提供了归档存储的功能,允许你将不再频繁访问但需要长期保存的数据移动到成本更低的存储中。这样,你可以既节省存储成本,又确保数据不会因生命周期而被删除。
    3. 定期备份数据:如果你担心数据丢失,可以定期将数据从MaxCompute导出并存储在其他地方(如本地文件系统、对象存储等)。这样,即使MaxCompute中的数据因生命周期或其他原因被删除,你仍然可以从备份中恢复。
    4. 使用其他持久化存储解决方案:如果你需要更高级别的数据持久性和管理功能,可以考虑使用其他的数据存储解决方案,如分布式文件系统(如HDFS)或对象存储服务(如阿里云OSS)。这些服务通常提供更灵活的数据管理选项,包括数据生命周期管理和数据备份。

    请注意,长期存储大量数据可能会产生显著的成本,因此在决定如何管理你的数据时,务必考虑存储成本和业务需求之间的平衡。同时,定期审查和更新你的数据管理策略也是一个好习惯,以确保它始终与你的业务目标保持一致。

    2024-02-19 14:44:31
    赞同 展开评论 打赏
  • 阿里云MaxCompute作为PAI机器学习中的数据存储服务,默认情况下表和分区具有生命周期管理(Life Time,LT),这意味着数据会在指定天数后自动删除,以节省存储成本。如果你想让MaxCompute中的数据成为永久存储,可以采取以下方法:

    1. 关闭生命周期管理

      • 对于单个表,你可以取消设置生命周期。在MaxCompute客户端或DataWorks中,找到对应表的属性设置,去掉生命周期天数的设定。
    2. 设置超长生命周期

      • 若MaxCompute允许设置非常大的生命周期天数,你可以将其设置为一个较长的期限,接近于永久存储的概念。
    3. 定期刷新生命周期

      • 如果确实需要周期性地延长数据的生命周期,可以编写一个定时任务脚本,定期更新表的生命周期属性。
    4. 使用归档存储

      • 根据实际需求,将不再频繁访问但需要长期保留的数据转移到低成本的归档存储方案中,例如OSS对象存储的归档存储等级。

    不过,请注意,即使设置了超长的生命周期,还是会产生存储费用。阿里云鼓励用户根据数据的价值和访问频率合理规划数据生命周期,以平衡存储成本和数据价值。

    2024-02-18 14:09:23
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute作为存储在机器学习PAI中有生命周期(Life time days),但无法永久存储

    MaxCompute是阿里云提供的一种大数据计算服务,它适用于数据分析和机器学习场景。在阿里云的机器学习平台PAI(Platform of Artificial Intelligence)中,MaxCompute可以作为计算和存储资源的底座,支撑各种AI场景,包括用户增长模型等业务实践。然而,MaxCompute的资源是有生命周期的,这意味着存储在MaxCompute上的数据不是永久的,而是有一定的有效时间。

    此外,关于MaxCompute资源的付费方式,通常有两种:按量计费标准版和包年包月标准计算资源。这两种付费方式都涉及到资源的使用时间和成本。如果想要延长数据的生命周期,可能需要通过购买更多的存储资源或者及时对数据进行迁移和备份来实现。但是,根据现有的信息,MaxCompute并不支持永久存储的选项。

    因此,如果需要长期保存数据,可能需要考虑其他的存储解决方案,例如将数据导出到阿里云的其他存储服务,如OSS(Object Storage Service)等,这些服务可能提供更灵活的存储周期和更低的长期存储成本。

    2024-02-16 10:01:51
    赞同 展开评论 打赏
  • 这个我找了一下,要设置的话,可以参考下这个文档 https://help.aliyun.com/zh/maxcompute/user-guide/lifecycle-management-operations?spm=a2c4g.11186623.0.i5 ,此回答整理自钉群“PAI-FeatureStore特征平台应用交流”

    2024-02-15 12:57:01
    赞同 展开评论 打赏
  • 阿里云MaxCompute(原名ODPS)作为大数据计算服务,默认表数据是有生命周期的,即Life Time(TTL),超过这个时间的数据将会被自动清理。但是,如果您希望存储的数据是永久性的,可以将表的生命周期设置为最大值或者禁用生命周期管理。

    在机器学习PAI中使用MaxCompute作为数据存储时,可以通过以下方式实现数据永久保存:

    1. 设置生命周期为最大值
      MaxCompute允许您设置生命周期的最大值,例如99999天,这样在实际应用中就等同于永久保留数据。

    2. 禁用生命周期管理
      虽然MaxCompute控制台可能不直接提供禁用生命周期的功能,但您可以在创建或更新表的时候,通过不设置生命周期属性,或者明确指定生命周期为一个非常大的数值来达到类似效果。

    3. 定期更新生命周期
      如果确实有生命周期限制且不能直接关闭,您需要定期更新表的生命周期,确保数据不会因为过期而被删除。

    请注意,虽然您可以设置较大的生命周期,但长期保留大量数据可能会导致存储成本增加,请根据业务需求和成本预算合理规划数据生命周期策略。另外,具体操作方法请参考最新的阿里云MaxCompute官方文档或控制台功能选项。

    2024-02-15 11:06:20
    赞同 展开评论 打赏

热门讨论

热门文章

相关电子书

更多
大规模机器学习在蚂蚁+阿里的应用 立即下载
基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
基于Spark的大规模机器学习在微博的应用 立即下载