老师,您说的截断是读取的时候截断还是输出的时候会截断?输出的时候截断。可以修生成方法,调参解决加长截断的文本参数吗
指的是训练时候默认是128,因为训练时候样本很多都被截断了,所以inference得时候即使再调节最大长度,模型也最多生成100个字。截断是读取输入数据时的截断,可以通过在 configuration.json 中为 preprocessor 添加 sequence_length 来设置,比如: { "preprocessor":{ "type": "text-gen-jieba-tokenizer", "sequence_length": 512 } },此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”