DataWorks AI助理内置了告警、异常实例、数据质量、数据治理等多种巡检场景模板,同时支持您自定义巡检能力。本文以“监控指定任务运行失败”为例,介绍如何通过AI助理配置定时巡检任务,在钉钉等IM端接收报警信息,并让AI助理自动修复异常问题。您可以参考本文实践将您在DataWorks上已有的报警规则对接至钉钉等IM端。
DataWorks AI助理介绍文档:https://help.aliyun.com/zh/dataworks/user-guide/ai-overview
DataWorks 管理控制台:https://dataworks.console.aliyun.com/overview
场景与效果
传统监控告警只能通知您"任务出错了",您处理时仍需打开PC端或切换APP。DataWorks AI助理支持对接钉钉等IM端,将告警消息主动推送到移动端,您可以在钉钉中直接完成诊断、修复、重跑——从收到告警到解决问题,直接在移动端一个窗口完成。
本实践最终效果:用户「小D」在钉钉中通过钉钉应用「DataWorksAI助理01」让DataWorksAI助理服务实例「AI助理」订阅某任务失败告警;任务出错时,AI助理自动推送告警、诊断原因和修复方案;小D确认方案可行后,AI助理以小D的身份自动修改任务、发布至生产环境并重跑实例,完成修复。
推送告警 |
修复问题 |
执行 |
|
|
|
配置环境规划
在实际操作前,您需要提前规划以下信息:
- 您将在DataWorks创建的AI助理实例名称。
- 您希望DataWorksAI助理用谁的身份执行您下达的指令。
- 您将在IM端如钉钉创建的应用名称,及其所属组织。
- 您希望DataWorksAI助理以内网还是公网与IM端如钉钉交互。
本示例规划如下:
步骤一:配置任务监控告警
- 目标:定义需要监控的任务和触发告警的条件,让DataWorks产生告警事件。
- 解决的问题:需要AI助理订阅告警消息的前提是存在可订阅的告警规则并产生告警消息。您需要先确定"监控哪个任务、什么条件触发告警",再在DataWorks运维中心创建自定义监控规则。
- 通用说明:您需要在DataWorks运维中心新建自定义规则,指定监控对象和触发条件。规则产生的告警事件,除了按您选择的告警方式(短信、邮件、钉钉等)推送外,也可供AI助理在IM端订阅。AI助理订阅的是告警事件本身,与告警方式无关——任何渠道产生的告警事件,AI助理都可以订阅。
- 本示例配置(零售电商空间,为「地区交易排行分析」任务设置出错告警):
配置项 |
说明 |
本示例值 |
规则名称 |
您自定义的告警规则名称 |
地区交易排行分析失败告警 |
规则对象 |
需要监控的任务名称 |
地区交易排行分析02 |
触发条件 |
任务在什么状态下触发告警(出错、未完成等) |
出错 |
告警行为 |
告警触发后的通知方式,按实际需求选择 |
按实际需求选择(不影响IM端订阅) |
- 效果解读:配置完成后,当「地区交易排行分析02」任务产出异常时,DataWorks会触发告警事件。您可以在运维中心的"告警信息"列表中看到该告警记录,同时会收到按告警行为配置的通知(短信、邮件或钉钉消息)。这条告警事件即为AI助理后续可订阅的内容。
步骤二:创建AI助理服务
- 目标:创建一个AI助理服务实例,让AI助理具备代替您操作DataWorks的能力。
- 解决的问题:AI助理需要一个运行载体——您需要指定AI助理以谁的身份操作(决定权限)、用什么资源运行(决定资源)、具备什么能力(决定可执行的操作范围)。
- 通用说明与示例配置:登录DataWorks管控台,按以下说明创建AI助理服务实例:
配置项 |
说明 |
本示例值 |
实例名称 |
您自定义的AI助理服务名称 |
AI助理 |
使用场景 |
选择AI助理的能力范围。选择「DataWorks助理」后,AI助理将具备DataWorks运维相关Skill |
DataWorks助理 |
资源组 |
选择用于运行AI助理服务的DataWorks通用型资源组。AI助理服务启动后将持续消耗资源组配额,建议与生产任务使用的资源组分开 |
通用型资源组 |
执行身份 |
选择AI助理执行DataWorks操作(修改任务、发布任务等)时使用的身份。选择「当前登录人」后,AI助理的所有操作等同于当前登录人本人操作 |
当前DataWorks登录人(即「小D」) |
- 效果解读:创建完成后,您可以在DataWorks管控台的AI助理服务列表中看到实例「AI助理」,实例状态显示为"运行中"。此时AI助理已具备DataWorks运维相关能力,但尚未接入任何IM端,您还无法直接通过钉钉与AI助理对话。后续步骤将完成IM端接入。
步骤三:AI助理对接钉钉
- 目标:打通AI助理与钉钉之间的通信通道,让您可以在钉钉中与AI助理实时交互。
- 解决的问题:AI助理创建后若未对接IM端,只能在WEB端使用。您需要在钉钉侧创建一个应用作为交互入口,再在DataWorks侧将AI助理与该钉钉应用绑定,完成AI助理与钉钉的通信通道配置。
3.1 钉钉侧:创建钉钉应用
- 目标:在钉钉开放平台创建一个企业内部应用,获取连接凭证。
- 通用说明:您需要前往钉钉开放平台创建一个企业内部应用,创建完成后钉钉平台会为该应用分配Client ID和Client Secret,这对凭证用于DataWorks侧绑定该应用时验证身份。
- 本示例操作:创建钉钉应用「DataWorksAI助理01」,获取凭证:Client ID、Client Secret。
- 效果解读:创建完成后,您在钉钉开放平台的应用列表中可以看到应用自动绑定的机器人「DataWorksAI助理01」,应用状态为"已发布"。您可以在钉钉客户端搜索到该应用,但此时应用尚未绑定AI助理,发送消息不会有响应。
3.2 DataWorks侧:配置IM通道
- 目标:在AI助理服务实例中绑定钉钉应用,使AI助理可以通过该钉钉应用与您交互。
- 通用说明:您需要进入AI助理服务实例的配置详情页,填入钉钉应用的Client ID和Client Secret,然后测试连通性。连通性测试验证的是:运行AI助理服务的资源组能否正常访问钉钉应用。如果资源组与钉钉应用不在同一网络环境,您还需要配置网络打通(如内网域名解析、跨VPC访问等)。
- 本示例操作:您为AI助理服务「AI助理」绑定钉钉应用「DataWorksAI助理01」的Client ID和Client Secret,并通过内网方式接入。您需要完成以下网络配置(DataWorks控制台已支持一键配置):
- 为AI助理服务运行的资源组所绑定的VPC配置钉钉内网域名解析
- 配置跨VPC内网的安全访问
内网方案依托PrivateZone + 私网连接云产品,会产生相关费用。
- 效果解读:配置完成后,连通性测试显示"成功"。您在钉钉中搜索应用「DataWorksAI助理01」并打开对话框,发送一条简单指令(如"简单介绍下你自己"),AI助理会返回响应消息。这表示AI助理与钉钉之间的通信通道已打通,您可以在钉钉中与AI助理进行实时交互。
步骤四:AI助理订阅告警
- 目标:通过自然语言指令让AI助理开始监听指定任务的告警事件,并验证端到端流程可用。
- 解决的问题:前三步完成了基础设施搭建,但AI助理的告警订阅能力还未开启。您需要通过指令告诉AI助理"监听哪一个规则。
- 通用说明:您在钉钉对话框中向AI助理发送订阅指令。您可以在指令中明确监控的具体对象及其他信息:工作空间ID、任务名称、触发条件。
- 本示例指令:
创建告警巡检,当监控到工作空间 959211 的"地区交易排行分析失败告警"这条告警规则被触发时,请立即向本对话窗口推送告警,并附上问题诊断与解决方案。
- 效果解读:指令发送后,AI助理会自动订阅该规则触发的告警信息,并会回复确认信息,表示已开始监听。此后,一旦「地区交易排行分析02」任务触发失败告警,AI助理会在钉钉对话窗口中主动推送消息。默认1分钟扫描一次报警消息。
- 指令关键字:告警巡检
- 告警服务配置调整:
- 「创建告警巡检,监控<空间名>」
- 「告警服务 巡检间隔 5分钟」
- 「告警服务 告警来源通道 phone,sms」可改)
- 「告警服务 告警人 张三,李四」可改,多人逗号分隔;设为 all 则恢复全部
- 增加监控空间:「告警服务 添加监控 <空间名>」,删除监控:「告警服务 移除监控 <空间名>」
- 新增推送目标:「告警服务 添加推送 当前群」即可加入;移除推送目标:「告警服务 移除推送 <群名>」)
步骤五:通过AI助理处理告警
- 目标:AI助理推送告警信息,并自动修复问题,形成完整的处理闭环
- 解决的问题:通过移动端实现问题自动修复。
- 通用说明:当告警信息推送时,会附带问题原因和解决方案。待您确认方案可行后,向AI助理回复执行指令,AI助理将自动执行修复操作。
- 效果解读:本示例构造的任务出错场景原因为分区表未指定分区导致报错,当报警信息推送时,会附带问题原因和解决方案,待您确认方案可行后,向AI助理回复执行指令,AI助理将以您「小D」的身份自动完成以下操作:修改任务代码或配置 → 发布至生产环境 → 重跑失败实例 → 修复报警。整个过程中,您无需离开钉钉,无需切换至PC端。
推送告警 |
修复问题 |
执行 |
验证 |
|
|
|
|
加入官方交流群
您需要先单击申请链接加入"阿里云大数据AI平台"组织,再扫描下方二维码加入AI助理服务产品钉钉交流群,加入后,即可获得专属产品技术支持!
钉钉群号: 149605034971
钉钉群二维码: