开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute如果我要把所有历史执行记录保留90天?

大数据计算MaxCompute如果我要把所有历史执行记录保留90天。是不是只能通过api或者每天抓取这个元仓把记录保留到实体表?

展开
收起
真的很搞笑 2023-10-18 23:56:38 107 0
7 条回答
写回答
取消 提交回答
  • 在阿里云的大数据计算服务MaxCompute中,如果您想要保留所有历史执行记录并将其保留在实体表中,并且希望这些记录保留90天,您通常需要采用一种自动化的方式,通过定期的任务或脚本来实现这个目标。

    以下是一种可能的方法:

    1. 创建一张历史执行记录表:首先,您可以创建一个新的MaxCompute表,用于存储历史执行记录。这张表将包含记录的元数据信息,如执行时间、执行状态、任务ID等。

    2. 设置定时任务或脚本:您可以编写一个定时任务或脚本,定期从MaxCompute的执行记录中提取需要保存的信息,并将其插入到历史执行记录表中。您可以使用MaxCompute SQL语句和MaxCompute SDK来实现这一步骤。

    3. 删除旧记录:在插入新记录之后,您可以编写另一个任务或脚本来删除历史执行记录表中超过90天的记录。这可以确保只保留最近90天的记录。

    4. 定期运行:将上述任务或脚本安排为定期运行,以确保历史执行记录的自动维护和保留。

    请注意,这是一种自动化的方法,可以确保历史执行记录的保留和管理,而不需要手动操作。您可以根据实际需求和环境进一步调整和优化这个流程。

    另外,MaxCompute提供了REST API和SDK,您可以使用它们来自动化执行记录的提取和管理,但您需要编写相关的代码和逻辑来实现这一点。这种方式可以更好地集成到您的自动化工作流中。

    2023-10-23 16:42:46
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    MaxCompute确实提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间。这样,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。

    对于历史执行记录的保留,如果您希望所有历史执行记录都保留90天,这可能需要结合使用MaxCompute的API和数据管理功能。具体来说,您可以通过API定期抓取元仓中的执行记录,并将这些记录保存到实体表中。同时,您还需要设置适当的数据保留策略,以确保超过90天的历史记录不会被永久保存,从而满足您的数据存储需求。

    2023-10-20 10:58:02
    赞同 展开评论 打赏
  • 是的,如果你想要把所有历史执行记录保留90天,你可能需要通过API或者每天抓取这个元仓把记录保留到实体表。这样可以确保你的历史执行记录在90天后不会被删除。

    2023-10-19 21:54:10
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    阿里云大数据计算MaxCompute的作业快照操作记录保存期限为7天。如果您希望所有历史执行记录保留90天,可能需要借助其他手段。例如,可以通过API或者每天抓取这个元仓把记录保留到实体表中。同时,MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。这样即使超过了作业快照操作记录的保存期限,也可以通过数据备份与恢复功能来获取到历史执行记录。

    2023-10-19 21:38:01
    赞同 展开评论 打赏
  • 是的,如果你想在MaxCompute中保留所有的历史执行记录超过90天,你可能需要通过API或者每天抓取这些记录并将它们保存到一个实体表中。

    MaxCompute本身并没有提供直接的方式来保留所有的历史执行记录超过90天。MaxCompute的设计目标是提供一个快速、全托管的在线数据仓库服务,因此它可能不会提供一些高级的功能,比如长时间的日志记录。

    然而,你可以通过一些变通的方式来实现这个目标。例如,你可以编写一个脚本,每天抓取MaxCompute的历史执行记录,并将它们保存到一个实体表中。这样,你就可以在任何时间查询这些记录,而不受MaxCompute的限制。

    另外,你也可以考虑使用MaxCompute的日志服务。日志服务可以提供详细的日志记录,包括每个SQL的执行情况、执行时间、执行结果等。你可以使用日志服务来替代MaxCompute的内置日志功能,从而满足你的需求。

    2023-10-19 15:42:40
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,你可以通过API来获取历史执行记录。如果你想要保留所有的历史执行记录,你可以使用API来获取这些记录,并将这些记录保存到实体表中。
    另外,你也可以使用MaxCompute的元仓来保存历史执行记录。MaxCompute的元仓是一个存储MaxCompute任务元数据的数据库。你可以使用元仓来保存历史执行记录,并且可以设置元仓的保留时间,以确保元仓中的历史执行记录可以保留90天。
    需要注意的是,MaxCompute的元仓可能会有一定的延迟。如果你想要获取最新的历史执行记录,你应该等待一段时间后,再查看元仓中的历史执行记录。

    2023-10-19 13:38:31
    赞同 展开评论 打赏
  • 如果是要记录任务,只能定时去拿Information Schema和DataWorks api数据了。
    审计日志是保留事件记录90天 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-10-19 08:17:24
    赞同 展开评论 打赏
滑动查看更多

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    开源大数据治理体系构建—助力游戏行业数据化运营 立即下载
    用友助力数据平台构建,驱动企业创新 立即下载
    MongoDB 应用数据平台助力快速构建您的应用 立即下载