语雀+通义千问+DataWorks,让AI定期推送每周总结

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这篇文章简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。

前言

DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这边我们就简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。


效果图



步骤一: 开通语雀 API 与通义千问 API


语雀


需要开通语雀超级会员才能使用语雀 API。当申请完超级会员后,即可在帐户信息下新建 Access Token,使用此 Token 即能请求语雀 API,使用开发者 API 可参考此文档 (授权范围选读取你的知识库与读取你的文档)。





这边我们在默认知识库下新建一个文档叫每周小记(AI定期总结),参考内容如下:

# 本周重点
## 1.任务进展
本周完成了项目A需求开发,已经提测。项目整体进度比预期延迟1d,预计下周三可以开始正式测试。
## 2.相关数据
本周日均 UV 34.8w,同比上周上涨20%。原因是周二投放活动生效,吸引了部分新用户。
本周日均 UV 34.8w(↑20%)
上周日均 UV 29w
## 3.风险同步
由于需要调用外网数据,需要在预发环境搭建代理,接下来需要考虑代理的通用性,在其他需要外网数据配合的需求中可以直接使用。
# 下周计划
下周开始主要投入项目B等功能点开发,依赖于中台团队提供接口,下周一和中台团队沟通确认。
# 其他
本周发现许多跟项目B相关的学习文档,需要找时间学习下
# 思考
项目B是项目A的延伸,做好项目B也能带动项目A的增长。


然后我们还需取得两个东西,知识库的 ID语雀文档的 ID,查看知识库的ID,可使用以下的 curl 语法 ( 语雀 AccessToken 如上述所取,使用者 ID 为登入语雀的帐号):

# 查看知识库ID
curl -H "X-Auth-Token: 语雀AccessToken " https://www.yuque.com/api/v2/groups/使用者ID/repos


透过上面 curl 语法可以取到知识库 ID,而语雀文档的 ID则可以从打开文档后,查看 URL 取得。




通义千问

使用通义千问的 API 需要开通模型服务灵积,详细可参考此文档。开通完后,打开 API-KEY 管理取得 Key,而如何使用通义千问 API,可参考此文档




步骤二: 开发 DataWorks 工作流


工作流的设计为每周一透过语雀 API 取得文档内容,并送给通义千问 API 取得总结,再透过 DataWorks 数据推送,将总结信息推送至各渠道。这个工作流只需要两个节点,开发如下:



节点 1 新建赋值节点,选用 Shell 语言:


首先呼叫语雀 API 取得文档内容,放到 docContent 变量 (需要替换以下代码的语雀 AccessToken、知识库 ID、文档ID) :

# 查看知识库文档
doc=$(curl -H 'X-Auth-Token: 语雀AccessToken ' https://www.yuque.com/api/v2/repos/知识库ID/docs/文档ID | grep -Po '"body":.*?[^\\]",'); # '拿取返回内容里 body 字段
tmp=${doc#*:'"'}   # remove prefix ending in :"
docContent=${tmp%'"',*}   # remove suffix starting with ",


取得文档内容,送给通义千问 API 进行总结,取得 aiSummary 变量并输出给下游。(需要替换以下代码的模型服务灵积 Key) :

ai=$(curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header "Authorization: Bearer 模型服务灵积Key" \
--header 'Content-Type: application/json' \
--data '{
    "model": "qwen-turbo",
    "input":{
        "messages":[      
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "请给我一段纯文本文字(至多不超过1000个字)重点及简要的总结以下内容:'"$docContent"'"
            }
        ]
    },
    "parameters": {
        "result_format": "message"
    }
}' | grep -Po '"content":.*?[^\\]"'); # 拿取返回内容里 content 字段
tmp=${ai#*:'"'}   # remove prefix ending in :"
aiSummary=${tmp%'"'*}   # remove suffix starting with "
echo $aiSummary | sed 's/\\n/\n/g';


节点 2 新建数据推送节点,将 Shell 赋值节点输出的 outputs 在节点上下文参数建立输入 inputs,并放入到正文里,选择要推送的渠道,如钉钉、飞书、企业微信或 Teams 等。



在业务流程看到的 Dag 如下,并在业务流程上进行推送测试:



工作流的推送测试,可以查阅此篇文章




步骤三: 发布工作流


将两个节点的调度时间安排在每周一早上八点,提交到发布中心后发布,并于运维中心查看调度状况。透过上述三步骤后,即可于每周早上定时收到上周的工作总结。



钉钉展示:



飞书展示:


企业微信展示:



Teams 展示:


小结

以上三步骤简单演示如何利用 DataWorks 工作流串起语雀、通义千问及数据推送,基于同样的方式也能用于团队周工作内容总结、个人旅游信息整理、当天小记转日记等,还能利用这些信息再加工,组织出更有价值的资讯。







相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
23天前
|
人工智能 JSON 自然语言处理
基于阿里云通义千问的AI模型应用开发指南
阿里云通义千问是阿里巴巴集团推出的多模态大语言模型平台,提供了丰富的API和接口,支持多种AI应用场景,如文本生成、图像生成和对话交互等。本文将详细介绍阿里云通义千问的产品功能,并展示如何使用其API来构建一个简单的AI应用,包括程序代码和具体操作流程,以帮助开发者快速上手。
352 3
|
2月前
|
人工智能 自然语言处理 OLAP
体验AnalyticDB与通义千问搭建AI智能客服,赢取马克杯/卫衣等好礼!
体验AnalyticDB与通义千问搭建AI智能客服,赢取马克杯/卫衣等好礼!
|
18天前
|
SQL 人工智能 DataWorks
DataWorks:新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展,包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。
141 5
|
10天前
|
人工智能 自然语言处理 测试技术
通义千问AI来提高研发效率
【10月更文挑战第21天】
|
2月前
|
SQL 人工智能 自然语言处理
AI战略丨蓝凌 + 通义千问, 让知识管理产生新质变
“知识管理 + 大模型”落地通常不是简单的 1+1=2 的公式。
|
4月前
|
存储 DataWorks 监控
利用 DataWorks 数据推送定期推播 ClickHouse Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 ClickHouse 为例,定期推播 ClickHouse 的慢 Query、数据量变化等信息,帮助用户掌握 ClickHouse 状态。
245 6
利用 DataWorks 数据推送定期推播 ClickHouse Query 诊断信息
|
4月前
|
DataWorks 监控 关系型数据库
利用 DataWorks 数据推送定期推播 MySQL 或 StarRocks Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 MySQL (也适用于StarRocks) 为例,定期推播 MySQL 的数据量变化等信息,帮助用户掌握 MySQL 状态。
101 1
|
4月前
|
SQL DataWorks 监控
利用 DataWorks 数据推送定期推播 Hologres Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 Hologres 为例,定期推播 Hologres 的慢 Query、数据访问量变化等信息,帮助用户掌握 Hologres 状态。
206 0
利用 DataWorks 数据推送定期推播 Hologres Query 诊断信息
|
4月前
|
存储 DataWorks 监控
利用 DataWorks 数据推送定期推播 Postgres Query 诊断信息
DataWorks 近期上线了数据推送功能,能够将数据库查询的数据组织后推送到各渠道 (如钉钉、飞书、企业微信及 Teams),除了能将业务数据组织后推送,也能将数据库自身提供的监控数据组织后推送,这边我们就以 Postgres 为例,定期推播 Postgres 的数据量变化等信息,帮助用户掌握 Postgres 状态。
62 0
|
4月前
|
SQL 人工智能 前端开发
若依修改01-通义灵码 AI智能编码,从这里开始,搭建,设计,编码,部署,使用AI辅助设计,通义千问把AI辅助设计放到快捷链接当中,vscode可以嵌入通义灵码,必须解决idea+vscode+通义灵
若依修改01-通义灵码 AI智能编码,从这里开始,搭建,设计,编码,部署,使用AI辅助设计,通义千问把AI辅助设计放到快捷链接当中,vscode可以嵌入通义灵码,必须解决idea+vscode+通义灵

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks