大数据计算MaxCompute如果我要把所有历史执行记录保留90天。是不是只能通过api或者每天抓取这个元仓把记录保留到实体表?
在阿里云的大数据计算服务MaxCompute中,如果您想要保留所有历史执行记录并将其保留在实体表中,并且希望这些记录保留90天,您通常需要采用一种自动化的方式,通过定期的任务或脚本来实现这个目标。
以下是一种可能的方法:
创建一张历史执行记录表:首先,您可以创建一个新的MaxCompute表,用于存储历史执行记录。这张表将包含记录的元数据信息,如执行时间、执行状态、任务ID等。
设置定时任务或脚本:您可以编写一个定时任务或脚本,定期从MaxCompute的执行记录中提取需要保存的信息,并将其插入到历史执行记录表中。您可以使用MaxCompute SQL语句和MaxCompute SDK来实现这一步骤。
删除旧记录:在插入新记录之后,您可以编写另一个任务或脚本来删除历史执行记录表中超过90天的记录。这可以确保只保留最近90天的记录。
定期运行:将上述任务或脚本安排为定期运行,以确保历史执行记录的自动维护和保留。
请注意,这是一种自动化的方法,可以确保历史执行记录的保留和管理,而不需要手动操作。您可以根据实际需求和环境进一步调整和优化这个流程。
另外,MaxCompute提供了REST API和SDK,您可以使用它们来自动化执行记录的提取和管理,但您需要编写相关的代码和逻辑来实现这一点。这种方式可以更好地集成到您的自动化工作流中。
MaxCompute确实提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间。这样,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。
对于历史执行记录的保留,如果您希望所有历史执行记录都保留90天,这可能需要结合使用MaxCompute的API和数据管理功能。具体来说,您可以通过API定期抓取元仓中的执行记录,并将这些记录保存到实体表中。同时,您还需要设置适当的数据保留策略,以确保超过90天的历史记录不会被永久保存,从而满足您的数据存储需求。
是的,如果你想要把所有历史执行记录保留90天,你可能需要通过API或者每天抓取这个元仓把记录保留到实体表。这样可以确保你的历史执行记录在90天后不会被删除。
阿里云大数据计算MaxCompute的作业快照操作记录保存期限为7天。如果您希望所有历史执行记录保留90天,可能需要借助其他手段。例如,可以通过API或者每天抓取这个元仓把记录保留到实体表中。同时,MaxCompute提供数据备份与恢复功能,系统会自动备份数据的历史版本(例如被删除或修改前的数据)并保留一定时间,您可以对保留周期内的数据进行快速恢复,避免因误操作丢失数据。这样即使超过了作业快照操作记录的保存期限,也可以通过数据备份与恢复功能来获取到历史执行记录。
是的,如果你想在MaxCompute中保留所有的历史执行记录超过90天,你可能需要通过API或者每天抓取这些记录并将它们保存到一个实体表中。
MaxCompute本身并没有提供直接的方式来保留所有的历史执行记录超过90天。MaxCompute的设计目标是提供一个快速、全托管的在线数据仓库服务,因此它可能不会提供一些高级的功能,比如长时间的日志记录。
然而,你可以通过一些变通的方式来实现这个目标。例如,你可以编写一个脚本,每天抓取MaxCompute的历史执行记录,并将它们保存到一个实体表中。这样,你就可以在任何时间查询这些记录,而不受MaxCompute的限制。
另外,你也可以考虑使用MaxCompute的日志服务。日志服务可以提供详细的日志记录,包括每个SQL的执行情况、执行时间、执行结果等。你可以使用日志服务来替代MaxCompute的内置日志功能,从而满足你的需求。
在MaxCompute中,你可以通过API来获取历史执行记录。如果你想要保留所有的历史执行记录,你可以使用API来获取这些记录,并将这些记录保存到实体表中。
另外,你也可以使用MaxCompute的元仓来保存历史执行记录。MaxCompute的元仓是一个存储MaxCompute任务元数据的数据库。你可以使用元仓来保存历史执行记录,并且可以设置元仓的保留时间,以确保元仓中的历史执行记录可以保留90天。
需要注意的是,MaxCompute的元仓可能会有一定的延迟。如果你想要获取最新的历史执行记录,你应该等待一段时间后,再查看元仓中的历史执行记录。
如果是要记录任务,只能定时去拿Information Schema和DataWorks api数据了。
审计日志是保留事件记录90天 ,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。