生成式问答|学习笔记

简介: 快速学习生成式问答

开发者学堂课程【阿里小蜜中的开放语聊技术:生成式问答】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/44/detail/972


生成式问答


内容介绍:

一、基于情绪的回复生成

二、基于风格化生成


一、基于情绪的回复生成

image.png

介绍完匹配问答,接下来介绍生成式问答,生成式问答包含两部分,首先是基于情绪的回复生成,先看看框图,这里用了最简单的 RNN 的模型。

应用过程中会用双向 STM 或者是其他更复杂的模型,因为是用于介绍所以画的比较简单,传统的 RNN 模型编码解码,就是上边这一块,没有下面 topic 和 Emotion 这些内容输入,会出现一个问题,那就是生成的答案会特别通用,类似于好的,可以,OK。这种答案会经常出现。会保证模型的损失比较小,我们希望在回复中增加更多实质内容的信息,因此在模型中增加了主题信息,还有情绪信息,让回复更有内容一些,不再那么通用。

所谓的主题,就是判断在聊什么,是在聊音乐,聊体育,还是聊电影。 emotion意思是理解用户在表达什么情绪,反之,给他对应回复的情绪添加到回复中,比如用户说今天心情很好,判断他聊的主题是什么,是生活就是在表达很好的心情,对应我们也要表达高兴的心情,所以要把主题信息和情绪信息加入到生成解码的过程中,得到的结果是开心,在这个场景下比较适合。


二、基于风格化生成

image.png

基于风格化的生成,在广泛的定义上,刚才的情绪生成也可以理解为基于风格化的生成,不过风格化实际上指特定应用场景上,比如现在有一款产品叫小蜜空间,或者叫小米星球的陪伴型的产品。产品定义希望它有陪伴,跪舔,这样结合体的语言风格,通过模型学习,把这种风格学习。但是如果让人工标注大量的体现这种风格的句子,特别消耗人力,因此基于风格的生成,用到一种处理方式。就是本身已经有几十万条不同风格,从各个数据来源收集到 QA 对,用于生成模型训练,只用人工标注1万多条这种风格的 QA 对,在整个训练过程中,把这两个数据融为一体,在训练时第一种针对几十万条,把它定义成通用风格,针对1万多条的陪伴型语聊,把它加入信息叫陪伴风格,在学习的过程中,陪伴风格的模型不仅能把陪伴风格学习到,同时还能把几十万条数据的语言本质信息学习到。

通过这种模型生成的结果,在语言通顺性和风格表达上效果非常好。按照之前处理方式,这种模型相对于之前通用处理方式的好处有两点,之前有两种处理方式,第一种是用人工标注,可能大量的几十万,上百万条的特定风格语聊,是非常耗人力的。

另外有一种方式,在大数据集上训练好模型,用小量的一种特定风格语言去做迁移学习,就是针对 a 风格,迁移 a 模型, B 风格迁移 B 模型, C 风格迁移 C 模型,会出现很多模型,这种方式能从一个模型里学习到很多种风格, A 风格、 B 风格、 C 风格,全放到一个模型里,只需要一个参数就好,在不同的场景调用模型,只要加入一个需要的风格,那么模型就能返回想要的结果,是一个既省人力又能不让模型杂乱的处理方式。

相关文章
|
存储 安全 Java
基于springboot自习室预订管理系统
基于springboot自习室预订管理系统
|
机器学习/深度学习 数据采集 算法
【MATLAB】BiGRU神经网络回归预测算法
【MATLAB】BiGRU神经网络回归预测算法
1036 0
|
数据可视化 测试技术 PyTorch
智谱ChatGLM3魔搭最佳实践教程来了!
ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上
|
存储 关系型数据库 分布式数据库
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
本文介绍了如何使用PolarDB、通义千问和LangChain搭建GraphRAG系统,结合知识图谱和向量检索提升问答质量。通过实例展示了单独使用向量检索和图检索的局限性,并通过图+向量联合搜索增强了问答准确性。PolarDB支持AGE图引擎和pgvector插件,实现图数据和向量数据的统一存储与检索,提升了RAG系统的性能和效果。
|
11月前
|
机器学习/深度学习 计算机视觉 网络架构
为什么卷积现在不火了:CNN研究热度降温的深层原因分析
纵观近年的顶会论文和研究热点,我们不得不承认一个现实:CNN相关的研究论文正在减少,曾经的"主角"似乎正逐渐淡出研究者的视野。
315 11
为什么卷积现在不火了:CNN研究热度降温的深层原因分析
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言。本文探讨了深度学习在NLP中的应用,包括其基本任务、优势、常见模型及具体案例,如文本分类、情感分析等,并讨论了Python的相关工具和库,以及面临的挑战和未来趋势。
610 1
|
12月前
|
Ubuntu 安全 Linux
Linux的安装过程
Linux的安装过程
335 6
|
机器学习/深度学习 自然语言处理 Linux
稀疏微调:彻底改变大语言模型的推理速度
稀疏微调:彻底改变大语言模型的推理速度
622 0
|
12月前
|
Python 容器
AutoDL Python实现 自动续签 防止实例过期释放 小脚本 定时任务 apscheduler requests
AutoDL Python实现 自动续签 防止实例过期释放 小脚本 定时任务 apscheduler requests
304 0
使用Qt Creator 出现的一些错误
使用Qt Creator 出现的一些错误
310 1