Prompt之文本生成详解教程-阿里云开发者社区

Prompt之文本生成详解教程

2023-02-16 419

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Prompt之文本生成详解教程

prompt在生成方面的应用从两个方面进行介绍：

评估手段
具体任务

评估手段

生成任务的评估手段主要分为四种类型：

1). 基于N-gram匹配
2). 基于编辑距离
3). 基于词向量
4). 基于可学习方式。

本小节主要介绍BARTSCORE，其使用prompt方式将评估问题转化为文本生成问题的可学习方式。

自然语言生成的自动评估的目标是评估语义相似性，但通常的方法只是依赖于表面形式的相似性，因此，BERTSCORE借助预训练模型BERT的embedding来衡量两个句子的语义相似性。

BERTSCORE解决了基于N-gram匹配的两个问题：

1)、无法鲁棒匹配语义；
2)、无法捕捉远距离依赖关系和惩罚重要语义顺序的更改。

BARTScore: Evaluating Generated Text as Text

论文链接：https://arxiv.org/pdf/2106.11520.pdf

相较于以往的评估方式，在生成评估的背景下，模型如何使用文本生成任务目标进行预训练和如何被使用作为下游任务的特征提取器之间存在脱节。这将导致预训练模型参数没有被充分利用。该论文将文本生成的评估问题看作生成问题，能够从七个角度评估生成文本的质量，并可以通过prompt和fine-tuning来增强BARTSCORE。

BARTSCORE的核心思想为，一个高质量的假设能够很容易地基于源文本或参考文本生成，反之亦然。计算方式如下，wt 为待生成句子中token的权重(加权重效果不好)：

具体计算含义如下所示：

prompt增强：对于给定的prompt token：z={z1,...,zl}，source token： x={x1,...,xn}和target token：y={y1,...,ym} ，有两种prompt的方式：

(i)在source token后添加prompt token：x={x1,...,xn,z1,...,zl}；
(ii)在target token前添加prompt token：y={z1,...,zl,y1,...,ym}。prompt的模板集合通过paraphrase重构种子模板获取得到。

fine-tuning 任务：

1). summarization 任务，使用CNNDM数据集；
2). paraphrasing任务，使用ParaBank2数据集。

在多个实验中，BARTSCORE取得了很好的效果，但是引入prompt也有可能会导致效果变差，在事实性评估角度中，只有少数的prompt可以提升性能。

具体任务

本小节介绍三篇使用prompt进行文本生成任务的论文，涵盖摘要、QA、诗歌生成、回复生成多个任务。

GenerationPlanning with Learned Entity Prompts for Abstractive Summarization

论文链接：https://arxiv.org/pdf/2103.10685.pdf

该论文通过引入简单灵活的中间过程来生成摘要，构造prompt prefix提示生成对应的实体链和摘要，prompt模板为：[ENTITYCHAIN] entity chain [SUMMARY] summary，该方式使模型能够学会链接生成的摘要和摘要中的实体链。另外，可以通过删除预测实体链中的不可靠实体来生成可靠摘要，更为灵活。

Controllable Generation from Pre-trained Language Models via Inverse Prompting

论文链接：https://arxiv.org/pdf/2103.10685.pdf

可控文本中给的提示原不足够，这导致易在生成过程中逐渐偏离主题，因此该论文提出inverse prompt来更好的控制文本生成，激励生成文本与prompt之间的联系。模型结构如下图所示：