自然语言处理-阿里云开发者社区

可以查看github更新 https://github.com/modelscope/modelscope/tree/master/modelscope/models/nlp/gpt3

在自然语言处理领域，文本生成任务是指根据给定的输入，自动生成对应的输出，典型的任务包含：机器翻译、智能问答等。 如何改变生成文本的长度，怎样训练能够产生长句、连贯和有意义的摘要的模型仍然是一个有待解决的研究问题。即使是最先进的深度学习算法，生成任何长文本也是很困难的。 为了使模型能够成功地生成摘要，阿里云有两个独立的改进：一个更加语境化的词生成模型和一种通过强化学习（RL）训练摘要模型的新方法。两种训练方法的结合使得系统能够创建相关且高可读性的多语句长文本（例如新闻文章）摘要，并在之前的基础上实现了显著的提升。 详情参见论文链接：https://arxiv.org/pdf/1705.04304.pdf

您好，PLUG-base/large精简版，我们内部测试和PALM 2.0的效果基本相当，所以如果您这边有生成的需求，建议使用PALM 2.0模型实验。如果是理解类任务，建议用StructBERT模型。链接如下：

1. https://modelscope.cn/models/damo/nlp_palm2.0_text-generation_chinese-base/summary

感谢您的反馈。可能有两方面的原因：（1）鲁棒性的问题，把第二个逗号换成中文逗号即可翻译成功。这暴露了当前模型的鲁棒性可能不够好，我们会尽快更新模型，欢迎您持续关注。（2）可能是分句的问题，绝大部分训练语料都是单句，遇到多句的输入可能会产生异常输出，您把这两个句子拆开分别输入也是可以成功翻译的。“附件数超过30个，请以压缩包的方式添加附件。单个附件大小如果超过40M，请使用分卷压缩后上传。”

如果是inference过程，可以参考这个链接，https://developer.aliyun.com/ask/465934?spm=a2c6h.17735075.0.0.5c8d60fcMN14hG

如果是fine-tuning过程，由于现在模型的fine-tuning代码还没有开源，可能需要等待下一个版本开源后才能使用～

您好，以下是针对两个问题的回复： 1.由于模型文件里包含的train.en和train.zh已经是经过tokenization和BPE预处理后的结果，所以配置文件里面的train_src和train_trg字段分别置成了train.en和train.zh。在使用的时候，用户需要将自有数据经过预处理，然后再配置这两个字段。 2. train_max_len定义的是训练集中每一条源文或译文的最大长度。从图片来看，可能存在一以下几个原因：（1）训练数据太少，基础模型是基于2亿+的双语数据训练完成，如果紧接用用4w+（非垂直领域）数据进行微调，可能看不出明显效果；（2）loss过大，可以排查一下预处理阶段是否有误，一般微调初始阶段的loss会在2-4之间（排除这4w+数据属于极特别的垂直领域、与通用场景差异较大的情况）；（3）迭代步数过少，模型尚未收敛。

转载回答：

你好，这个数据集是有的，通过git clone也可以下载： 我们也会更加推荐通过我们dataset的sdk来使用。类似这样的操作：

您好，目前GPT-3只支持src_txt字段输入训练，采用auto-regressive方式训练，如果您的数据有输入和输出，可以把输入和输出拼接起来构造成src_txt训练，还可以通过构建prompt的方式串联起来

比如输入文章，输出摘要，可以把“文章”+“。上面文章的摘要是：”+“摘要”，构造成src_txt输入模型训练

另外，也推荐采用PALM预训练生成模型，由encoder-decoder架构构成，很适合源文本和目标文本的训练，参考模型页面的训练代码即可：https://modelscope.cn/models/damo/nlp_palm2.0_pretrained_chinese-base/summary