基于 DataWorks AI 助理备份实例日志到 OSS 文件系统

简介: AI助理免代码实现DataWorks实例日志定时备份至OSS 文件系统,突破平台实例日志默认保留时长限制。

概述

DataWorks 平台默认对实例日志的保留时长有限,超出保留期限后日志将被自动清理。借助 AI 助理,免代码可实现实例日志的定时备份,将日志自动归档至 OSS,自定义存储周期。

前提条件

  • 已开通 DataWorks 服务,并创建了工作空间。
  • 已开通 OSS 服务,并创建了用于存储日志的 Bucket。
  • 已开通 AI 助理功能,并完成基础配置。

适用场景

  • 小批量精准备份日志
  • 探索与验证期
  • 备份规范还在摸索
  • 首次对接新项目
  • 日志摸底
  • 多步骤复合任务
  • "归档 + 生成清单报告 + 推送到群里"

说明:如有生产大规模日志数据备份需求,建议使用固定脚本任务实现,AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

image.png image.png

配置

步骤一:创建并调试任务

1. 发起指令

【实例日志备份指令】

目标:将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。

【备份规则】

1. 存储路径:oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/

实例类型:周期实例 / 测试实例 / 手动实例 / 补数据实例(四选一,不拓展子目录)

2. 文件名:{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt

优先从日志 SKYNET_* 环境变量取值,API 返回值兜底,取不到填 null

3. 重跑日志:全量备份,生成多份文件,后缀加 _重跑N(N 取 SKYNET_RERUN_TIME)

【执行约束】

1. 未运行实例跳过,不归档

2. 归档后校验:确保和产品页面一致

3. 推送报告:生成 HTML 报告 + 文字摘要,推送到钉钉群

image.png

2. 检查效果

  1. 抽样和运维中心实例日志对比,内容一致、完整;
  2. 简单核对运维中心、OSS、归档报告数量一致;
  3. 检查边界范围日志数据符合预期。

image.png

image.png

3. 生成报告(可选)

image.png

步骤二:沉淀为定时任务

核对无误,将任务沉淀为定时任务或技能,设置为每日9点定时执行,将指定空间昨天执行(即业务日期为前天)的实例备份到OSS,在对应AI助理实例的「定时任务」列表中可查看。

image.png

消费

备份的日志文件,可以用于分析审计场景,访问方式除了常规在 OSS 工作台直接搜索外,也可以通过 AI 助理自然语言检索。

例如,查找指定周期任务40天前的日志。

image.png

拓展

  1. 增加定时删除任务;
  2. 用于备份个人DataStudio运行日志、集成日志等。
相关文章
|
域名解析 人工智能 运维
DataWorks AI助理:在钉钉让AI助理帮你盯任务、修问题
DataWorks AI助理支持定时巡检监控规则告警及指定任务异常,可对接钉钉等IM端实时推送、诊断并自动修复问题。用户在移动端即可完成告警接收、分析、确认与修复全流程,无需切换PC端,大幅提升运维效率。
340 0
|
21天前
|
人工智能 自然语言处理 DataWorks
DataWorks AI助理:一句话,帮你搞定研发周报!
本文介绍如何用一句指令让DataWorks AI助理自动生成研发周报并推送至钉钉文档。涵盖三大核心步骤:构建工作空间知识库以理解业务语义、授权钉钉文档API、创建自定义SKILL固化流程。全程约1–2分钟,大幅提升周报效率。
233 1
|
3月前
|
存储 Rust NoSQL
一条命令迁移,帮你实现 OpenClaw 与 Hermes Agent 记忆互通!
本文是基于阿里云 Tablestore 的 Agent 记忆共享实战指南:一条命令迁移 OpenClaw 记忆至 Hermes,通过统一 Tablestore 实例、应用 ID 与租户 ID,实现跨Agent(如龙虾与马)记忆自动互通、实时同步与语义检索,支持 CLI 管理与对话中直接调用,安全可靠,开箱即用。
3381 122
|
26天前
|
存储 人工智能 JSON
Qwen 本地部署搭配 ComfyUI 生成 AI 漫剧完整实操指南(小白零基础可落地,零成本无限生成+角色一致性天花板)
2026全网最优本地漫剧流水线:零成本、离线运行、角色统一、低配(8G显卡)可跑。融合Qwen本地大模型+ComfyUI双引擎,实现剧本生成→分镜绘图→动态成片全自动,隐私安全、无审核限流,新手30分钟上手,日更无忧。(239字)
|
6天前
|
人工智能 DataWorks 调度
DataWorks AI 助理盯公告,关键变更不漏看
阿里云DataWorks公告AI助理,自动拉取RSS、按关键词筛选并解析影响面,精准推送至IM群,实现关键变更近实时触达,减少团队信息差。
113 0
|
2月前
|
数据采集 人工智能 自然语言处理
2026 爬虫新选择:Claude Code 对比传统爬虫框架优劣分析
2026 爬虫新选择:Claude Code 对比传统爬虫框架优劣分析
|
4月前
|
SQL 人工智能 运维
DataWorks Data Agent:一句话搞定数据开发,让周期从天级到分钟级
DataWorks Data Agent 是阿里云推出的AI原生数据开发智能体,覆盖集成、开发、运维、治理、分析全链路。它深度适配业务逻辑与开发规范,支持自然语言一键生成可信SQL及全流程交付。淘宝闪购实测:指标开发从6–8小时缩短至5–10分钟,真正实现“一句话交付”。
|
数据采集 SQL 存储
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
数据质量问题虽然从数据工程师的角度来看是个简单问题,但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中,非常重要的一个环节。在DataWorks产品版图里,数据质量也是非常重要的模块之一。
5271 0
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
|
人工智能 安全 机器人
OpenClaw(原 Clawdbot)钉钉对接保姆级教程 手把手教你打造自己的 AI 助手
OpenClaw(原Clawdbot)是一款开源本地AI助手,支持钉钉、飞书等多平台接入。本教程手把手指导Linux下部署与钉钉机器人对接,涵盖环境配置、模型选择(如Qwen)、权限设置及调试,助你快速打造私有、安全、高权限的专属AI助理。(239字)
40319 184
|
2月前
|
弹性计算 运维 监控
云上OpenClaw全生命周期运维:阿里云ECS云服务器部署、监控告警、故障自愈完整方案
本文提供了一套完整的阿里云ECS云服务器全生命周期运维方案,涵盖从实例创建、安全组配置、Web环境部署,到云监控告警设置、运维编排自动化,再到弹性伸缩故障自愈的全流程。文章详细介绍了ECS实例的选型与创建、安全组精细化配置、Nginx与MySQL等Web服务部署、云监控核心指标监控与分级告警策略、OOS批量运维自动化、以及基于弹性伸缩和云助手的故障自愈机制。同时提供了丰富的代码示例(Shell脚本、Python SDK、OOS模板、Terraform配置等),帮助运维人员构建标准化的智能运维体系,实现从被动响应到主动治理的转变,确保业务7×24小时高可用运行。
217 0