基于 DataWorks AI 助理备份实例日志到 OSS 文件系统

简介: AI助理免代码实现DataWorks实例日志定时备份至OSS 文件系统,突破平台实例日志默认保留时长限制。

概述

DataWorks 平台默认对实例日志的保留时长有限,超出保留期限后日志将被自动清理。借助 AI 助理,免代码可实现实例日志的定时备份,将日志自动归档至 OSS,自定义存储周期。

前提条件

  • 已开通 DataWorks 服务,并创建了工作空间。
  • 已开通 OSS 服务,并创建了用于存储日志的 Bucket。
  • 已开通 AI 助理功能,并完成基础配置。

适用场景

  • 小批量精准备份日志
  • 探索与验证期
  • 备份规范还在摸索
  • 首次对接新项目
  • 日志摸底
  • 多步骤复合任务
  • "归档 + 生成清单报告 + 推送到群里"

说明:如有生产大规模日志数据备份需求,建议使用固定脚本任务实现,AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

image.png image.png

配置

步骤一:创建并调试任务

1. 发起指令

【实例日志备份指令】

目标:将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。

【备份规则】

1. 存储路径:oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/

实例类型:周期实例 / 测试实例 / 手动实例 / 补数据实例(四选一,不拓展子目录)

2. 文件名:{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt

优先从日志 SKYNET_* 环境变量取值,API 返回值兜底,取不到填 null

3. 重跑日志:全量备份,生成多份文件,后缀加 _重跑N(N 取 SKYNET_RERUN_TIME)

【执行约束】

1. 未运行实例跳过,不归档

2. 归档后校验:确保和产品页面一致

3. 推送报告:生成 HTML 报告 + 文字摘要,推送到钉钉群

image.png

2. 检查效果

  1. 抽样和运维中心实例日志对比,内容一致、完整;
  2. 简单核对运维中心、OSS、归档报告数量一致;
  3. 检查边界范围日志数据符合预期。

image.png

image.png

3. 生成报告(可选)

image.png

步骤二:沉淀为定时任务

核对无误,将任务沉淀为定时任务或技能,设置为每日9点定时执行,将指定空间昨天执行(即业务日期为前天)的实例备份到OSS,在对应AI助理实例的「定时任务」列表中可查看。

image.png

消费

备份的日志文件,可以用于分析审计场景,访问方式除了常规在 OSS 工作台直接搜索外,也可以通过 AI 助理自然语言检索。

例如,查找指定周期任务40天前的日志。

image.png

拓展

  1. 增加定时删除任务;
  2. 用于备份个人DataStudio运行日志、集成日志等。
相关文章
|
8天前
|
存储 人工智能 JSON
Qwen 本地部署搭配 ComfyUI 生成 AI 漫剧完整实操指南(小白零基础可落地,零成本无限生成+角色一致性天花板)
2026全网最优本地漫剧流水线:零成本、离线运行、角色统一、低配(8G显卡)可跑。融合Qwen本地大模型+ComfyUI双引擎,实现剧本生成→分镜绘图→动态成片全自动,隐私安全、无审核限流,新手30分钟上手,日更无忧。(239字)
|
7月前
|
人工智能 关系型数据库 API
AI数字员工哪个好?2025十大品牌云原生适配实测:玄晶引擎/百度/阿里全链路方案
本文基于阿里云生态实测,解析AI数字员工从“可视化”到“业务落地”的转型趋势,揭露选型两大陷阱,结合玄晶引擎等50+案例与API性能数据,发布十大品牌榜单。聚焦云原生架构、API对接效率、开发友好度与全链路闭环四大维度,提供中小微企业至中大型企业的优选方案及开发者专属选型工具包,助力低成本高效落地。
1052 8
|
2月前
|
SQL 人工智能 安全
从 Google Agentic Data Cloud 看:个人 Agent 能干活了,企业 Agent 卡在哪了?
本文探讨企业AI Agent从“能问”到“能干活”的核心挑战,提出落地需跨越三道坎:读懂数据(语义理解)、安全访问(权限与审计)、真正干活(端到端业务执行)。阿里云瑶池基于Meta Agent知识大脑、DataGateway安全通道等实践,正推动企业Agent走向规模化、自进化的真实生产应用。
249 0
|
9月前
|
存储 数据可视化 小程序
搭建内容中台:打造高效可复用的企业内容管理基石
内容中台的本质,是将企业的 “内容资源” 转化为 “可复用、可运营的数字资产”,让内容从 “每个渠道的附属品”,变成 “驱动全渠道业务增长的核心能力”—— 它不仅是技术层面的平台,更是企业内容战略的 “落地载体”。
641 0
|
SQL 分布式计算 DataWorks
聊聊ODPS真实的使用感受
本文分享了作者多年来使用ODPS的真实体验,从最初处理电商数据的困境,到引入ODPS后效率大幅提升的惊喜。文中通过多个具体场景,讲述了DataWorks带来的便捷、性能优化的细节、数据安全保障,以及如何从“工具人”成长为能推动业务决策的数据分析师。最后展望了ODPS在AI-Native方向的发展,体现了技术对人的关怀与赋能。
256 1
|
人工智能
人工智能管理体系解读(一)
ISO/IEC 42001 标准旨在指导组织建立、实施、维护和持续改进人工智能管理体系,强调负责任地使用、开发和运营人工智能系统,适用于所有采用AI系统的组织。标准涵盖了道德问题、法律法规遵从性、持续改进等方面,帮助组织提升运营效率、加强风险管理并提高声誉。
503 1
|
敏捷开发 数据可视化 API
6款高效的任务看板管理工具,哪款能提升团队协作效率
本文对比了六款流行的任务看板管理工具:板栗看板、Trello、Asana、Monday.com、ClickUp 和 Jira。从功能、易用性、价格等方面进行了详细分析,帮助用户根据团队规模、项目复杂度及预算选择最适合的任务管理工具。
6款高效的任务看板管理工具,哪款能提升团队协作效率
|
存储 人工智能 运维
内附源码|头部基模企业信赖之选——DMS+Lindorm智能搜索方案
本文为数据库「拥抱Data+AI」系列连载第6篇,针对企业构建智能搜索服务的痛点,介绍如何利用阿里云Data+AI解决方案构建一站式AI搜索服务,深入分析了DMS+Lindorm的智能搜索解决方案。
|
传感器 物联网 定位技术
低功耗蓝牙
低功耗蓝牙(Bluetooth Low Energy,简称BLE)是一种无线通信技术,专为低功耗应用设计。它在保持蓝牙无线连接的同时,大幅降低了能耗,适用于各种小型设备和传感器,如智能手环、健康监测器等。
1457 2
|
搜索推荐 安全 数据挖掘
产品运营方法论:从目标拆解到策略重构
本文从产品运营的定义到作者对产品运营的理解以及一些工作中用到的方法论做了总结。
212518 34