基于 DataWorks AI 助理备份实例日志到 OSS 文件系统

简介: AI助理免代码实现DataWorks实例日志定时备份至OSS 文件系统,突破平台实例日志默认保留时长限制。

概述

DataWorks 平台默认对实例日志的保留时长有限,超出保留期限后日志将被自动清理。借助 AI 助理,免代码可实现实例日志的定时备份,将日志自动归档至 OSS,自定义存储周期。

前提条件

  • 已开通 DataWorks 服务,并创建了工作空间。
  • 已开通 OSS 服务,并创建了用于存储日志的 Bucket。
  • 已开通 AI 助理功能,并完成基础配置。

适用场景

  • 小批量精准备份日志
  • 探索与验证期
  • 备份规范还在摸索
  • 首次对接新项目
  • 日志摸底
  • 多步骤复合任务
  • "归档 + 生成清单报告 + 推送到群里"

说明:如有生产大规模日志数据备份需求,建议使用固定脚本任务实现,AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

image.png image.png

配置

步骤一:创建并调试任务

1. 发起指令

【实例日志备份指令】

目标:将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。

【备份规则】

1. 存储路径:oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/

实例类型:周期实例 / 测试实例 / 手动实例 / 补数据实例(四选一,不拓展子目录)

2. 文件名:{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt

优先从日志 SKYNET_* 环境变量取值,API 返回值兜底,取不到填 null

3. 重跑日志:全量备份,生成多份文件,后缀加 _重跑N(N 取 SKYNET_RERUN_TIME)

【执行约束】

1. 未运行实例跳过,不归档

2. 归档后校验:确保和产品页面一致

3. 推送报告:生成 HTML 报告 + 文字摘要,推送到钉钉群

image.png

2. 检查效果

  1. 抽样和运维中心实例日志对比,内容一致、完整;
  2. 简单核对运维中心、OSS、归档报告数量一致;
  3. 检查边界范围日志数据符合预期。

image.png

image.png

3. 生成报告(可选)

image.png

步骤二:沉淀为定时任务

核对无误,将任务沉淀为定时任务或技能,设置为每日9点定时执行,将指定空间昨天执行(即业务日期为前天)的实例备份到OSS,在对应AI助理实例的「定时任务」列表中可查看。

image.png

消费

备份的日志文件,可以用于分析审计场景,访问方式除了常规在 OSS 工作台直接搜索外,也可以通过 AI 助理自然语言检索。

例如,查找指定周期任务40天前的日志。

image.png

拓展

  1. 增加定时删除任务;
  2. 用于备份个人DataStudio运行日志、集成日志等。
相关文章
域名解析 人工智能 运维
574 0
|
2月前
|
人工智能 DataWorks 调度
DataWorks AI 助理盯公告,关键变更不漏看
阿里云DataWorks公告AI助理,自动拉取RSS、按关键词筛选并解析影响面,精准推送至IM群,实现关键变更近实时触达,减少团队信息差。
208 1
|
人工智能 运维 自然语言处理
DataWorks DataAgent 功能系列实践
DataWorks Agent功能系列实践链接收集中
171 0
|
人工智能 自然语言处理 DataWorks
DataWorks AI助理实践:一句话,帮你搞定研发周报!
本文介绍如何用一句指令让DataWorks AI助理自动生成研发周报并推送至钉钉文档。涵盖三大核心步骤:构建工作空间知识库以理解业务语义、授权钉钉文档API、创建自定义SKILL固化流程。全程约1–2分钟,大幅提升周报效率。
447 0
SQL 人工智能 DataWorks
262 0
|
7天前
|
数据采集 SQL 人工智能
DataWorks AI 助理:实现数据异常诊断工作流
本文介绍DataWorks数据异常诊断AI助理,通过语义映射、多维诊断(任务状态/数据质量/代码变更/血缘分析)和经验沉淀,实现业务方自助提报、研发高效定位。典型场景如任务依赖漏配、指标口径不一致等,可大幅压缩排查耗时,提升数据问题响应效率。(239字)
140 2
DataWorks AI 助理:实现数据异常诊断工作流
|
8天前
|
人工智能 DataWorks 监控
DataWorks AI助理实践:Flink作业健康度巡检
DataWorks AI助理(DataClaw)深度打通Flink等引擎层监控,支持Flink自动巡检作业失败事件、27项核心指标及2类系统事件,智能分级(P0-P3)并推送钉钉告警,实现任务全生命周期统一观测与异常闭环。
99 1
22天前
|
人工智能 DataWorks 监控
DataWorks AI助理实践:推送报警至钉钉群并准确@责任人
本文介绍如何为DataWorksAI助理配置阿里云账号(空间成员)与钉钉的账号映射,实现报警时自动在钉钉群精准@责任人。通过配置监控报警、建立RAM用户与钉钉账号映射、接入Webhook及创建定时巡检任务,确保报警消息准确触达,提升运维响应效率。
196 0
|
2月前
|
存储 人工智能 JSON
Qwen 本地部署搭配 ComfyUI 生成 AI 漫剧完整实操指南(小白零基础可落地,零成本无限生成+角色一致性天花板)
2026全网最优本地漫剧流水线:零成本、离线运行、角色统一、低配(8G显卡)可跑。融合Qwen本地大模型+ComfyUI双引擎,实现剧本生成→分镜绘图→动态成片全自动,隐私安全、无审核限流,新手30分钟上手,日更无忧。(239字)
|
5月前
|
SQL 人工智能 运维
DataWorks Data Agent:一句话搞定数据开发,让周期从天级到分钟级
DataWorks Data Agent 是阿里云推出的AI原生数据开发智能体,覆盖集成、开发、运维、治理、分析全链路。它深度适配业务逻辑与开发规范,支持自然语言一键生成可信SQL及全流程交付。淘宝闪购实测:指标开发从6–8小时缩短至5–10分钟,真正实现“一句话交付”。
1085 2