语雀+通义千问+DataWorks,让AI定期推送每周总结

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这篇文章简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。

前言

DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这边我们就简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。


效果图



步骤一: 开通语雀 API 与通义千问 API


语雀


需要开通语雀超级会员才能使用语雀 API。当申请完超级会员后,即可在帐户信息下新建 Access Token,使用此 Token 即能请求语雀 API,使用开发者 API 可参考此文档 (授权范围选读取你的知识库与读取你的文档)。





这边我们在默认知识库下新建一个文档叫每周小记(AI定期总结),参考内容如下:

# 本周重点
## 1.任务进展
本周完成了项目A需求开发,已经提测。项目整体进度比预期延迟1d,预计下周三可以开始正式测试。
## 2.相关数据
本周日均 UV 34.8w,同比上周上涨20%。原因是周二投放活动生效,吸引了部分新用户。
本周日均 UV 34.8w(↑20%)
上周日均 UV 29w
## 3.风险同步
由于需要调用外网数据,需要在预发环境搭建代理,接下来需要考虑代理的通用性,在其他需要外网数据配合的需求中可以直接使用。
# 下周计划
下周开始主要投入项目B等功能点开发,依赖于中台团队提供接口,下周一和中台团队沟通确认。
# 其他
本周发现许多跟项目B相关的学习文档,需要找时间学习下
# 思考
项目B是项目A的延伸,做好项目B也能带动项目A的增长。


然后我们还需取得两个东西,知识库的 ID语雀文档的 ID,查看知识库的ID,可使用以下的 curl 语法 ( 语雀 AccessToken 如上述所取,使用者 ID 为登入语雀的帐号):

# 查看知识库ID
curl -H "X-Auth-Token: 语雀AccessToken " https://www.yuque.com/api/v2/groups/使用者ID/repos


透过上面 curl 语法可以取到知识库 ID,而语雀文档的 ID则可以从打开文档后,查看 URL 取得。




通义千问

使用通义千问的 API 需要开通模型服务灵积,详细可参考此文档。开通完后,打开 API-KEY 管理取得 Key,而如何使用通义千问 API,可参考此文档




步骤二: 开发 DataWorks 工作流


工作流的设计为每周一透过语雀 API 取得文档内容,并送给通义千问 API 取得总结,再透过 DataWorks 数据推送,将总结信息推送至各渠道。这个工作流只需要两个节点,开发如下:



节点 1 新建赋值节点,选用 Shell 语言:


首先呼叫语雀 API 取得文档内容,放到 docContent 变量 (需要替换以下代码的语雀 AccessToken、知识库 ID、文档ID) :

# 查看知识库文档
doc=$(curl -H 'X-Auth-Token: 语雀AccessToken ' https://www.yuque.com/api/v2/repos/知识库ID/docs/文档ID | grep -Po '"body":.*?[^\\]",'); # '拿取返回内容里 body 字段
tmp=${doc#*:'"'}   # remove prefix ending in :"
docContent=${tmp%'"',*}   # remove suffix starting with ",


取得文档内容,送给通义千问 API 进行总结,取得 aiSummary 变量并输出给下游。(需要替换以下代码的模型服务灵积 Key) :

ai=$(curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header "Authorization: Bearer 模型服务灵积Key" \
--header 'Content-Type: application/json' \
--data '{
    "model": "qwen-turbo",
    "input":{
        "messages":[      
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "请给我一段纯文本文字(至多不超过1000个字)重点及简要的总结以下内容:'"$docContent"'"
            }
        ]
    },
    "parameters": {
        "result_format": "message"
    }
}' | grep -Po '"content":.*?[^\\]"'); # 拿取返回内容里 content 字段
tmp=${ai#*:'"'}   # remove prefix ending in :"
aiSummary=${tmp%'"'*}   # remove suffix starting with "
echo $aiSummary | sed 's/\\n/\n/g';


节点 2 新建数据推送节点,将 Shell 赋值节点输出的 outputs 在节点上下文参数建立输入 inputs,并放入到正文里,选择要推送的渠道,如钉钉、飞书、企业微信或 Teams 等。



在业务流程看到的 Dag 如下,并在业务流程上进行推送测试:



工作流的推送测试,可以查阅此篇文章




步骤三: 发布工作流


将两个节点的调度时间安排在每周一早上八点,提交到发布中心后发布,并于运维中心查看调度状况。透过上述三步骤后,即可于每周早上定时收到上周的工作总结。



钉钉展示:



飞书展示:


企业微信展示:



Teams 展示:


小结

以上三步骤简单演示如何利用 DataWorks 工作流串起语雀、通义千问及数据推送,基于同样的方式也能用于团队周工作内容总结、个人旅游信息整理、当天小记转日记等,还能利用这些信息再加工,组织出更有价值的资讯。







相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
3天前
|
人工智能 关系型数据库 OLAP
通义百炼融合AnalyticDB,10分钟创建网站AI助手
本文介绍了如何在百炼平台上创建和配置AI助手,使其能够准确回答公司产品的相关问题。主要步骤包括:开通管理控制台、创建应用并部署示例网站、配置知识库、上传产品介绍数据、创建AnalyticDB PostgreSQL实例、导入知识文件、启用知识检索增强功能,并最终测试AI助手的回答效果。通过这些步骤,AI助手可以从提供通用信息转变为精准回答特定产品问题。实操完成后,还可以释放实例以节省费用。
|
23天前
|
机器学习/深度学习 人工智能 安全
通义千问开源的QwQ模型,一个会思考的AI,百炼邀您第一时间体验
Qwen团队推出新成员QwQ-32B-Preview,专注于增强AI推理能力。通过深入探索和试验,该模型在数学和编程领域展现了卓越的理解力,但仍在学习和完善中。目前,QwQ-32B-Preview已上线阿里云百炼平台,提供免费体验。
|
16天前
|
人工智能
带上团队一起来做 AI 编程实践丨通义灵码联合TGO鲲鹏会开启 AI 大课
带上团队一起来做 AI 编程实践丨通义灵码联合TGO鲲鹏会开启 AI 大课
|
12天前
|
人工智能 搜索推荐 安全
数百名研发人员用通义灵码,33%新增代码由AI生成,信也科技研发模式焕新升级
目前,信也科技数百名研发人员正在使用通义灵码,周活跃用户占比70%,新增代码中有33%由通义灵码编写,整体研发效率提升了11%,真正实现了数百研发人员开发效能的全面提升。
|
16天前
|
人工智能 数据可视化 Java
通义灵码 AI 盲盒
基于通义灵码的 @workspace 和 @terminal 功能,可显著提升开发效率和体验。@workspace 通过文件导航、代码结构可视化、搜索和注释生成,帮助开发者快速熟悉项目结构和核心逻辑;@terminal 则支持代码片段运行、调试和 AI 代码补全,加速新需求实现和问题排查。这些工具降低了学习成本,简化了开发流程,提升了团队协作效率。
|
23天前
|
人工智能
通义灵码AI编程
首次使用通义灵码AI编程助手,体验了其生成首页、用户界面、内容界面及内容发布界面的功能,整体运行良好,但仍存在一些小问题需解决。
|
1月前
|
人工智能 开发者
通义灵码融入南京大学 AI 编程创新课,让大学生释放想象力
南京大学软件学院副教授钦老师将通义灵码引入了 X 层级课程《人工智能驱动编程》中,通过将通义灵码智能编码实践与传统编程语言教学融合的方式,让学生切身体会人工智能、大模型技术对编程学习方式带来的改变。
|
1月前
|
人工智能 算法 新制造
走进北京科技大学,通义灵码与企业高校共筑 AI 创意课堂
近日,通义灵码有幸参与到一场由伊利集团主办的 AIGC 生态创新大赛路演舞台,与高校专家、企业代表、青年学子共同探讨 AIGC 创意应用,交流企业在数智领域转型、青年开发者科技创新的思路和落地实践。
|
1月前
|
人工智能 自然语言处理 IDE
通义灵码让AI帮你实现自动化编程
通义灵码是由阿里云与通义实验室联合开发的智能编码辅助工具,具备行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答及异常报错排查等功能。该工具支持200多种编程语言,兼容主流IDE,如Visual Studio Code、Visual Studio和JetBrains IDEs。通义灵码在Gartner发布的AI代码助手魔力象限中表现出色,成为唯一进入挑战者象限的中国科技公司。目前,通义灵码下载量已超过470万,每日辅助生成代码超3000万次,被开发者广泛采用。
|
1月前
|
人工智能 C语言 Python
AI师傅+通义灵码=零基础小白上手python真·不是梦
作为一名不懂编程的设计师,我一直渴望掌握AI辅助设计。在快刀青衣的推荐下,我尝试了AI师傅和通义灵码,成功写出了第一个Python程序,并理解了编程的基本概念。通过AI师傅的引导和通义灵码的帮助,我顺利完成了Coursera上的Python课程,获得了两张证书。这种学习方式让编程变得不再遥不可及,为我的未来学习打开了新大门。

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks
  • 下一篇
    DataWorks