老师,您说的截断是读取的时候截断还是输出的时候会截断?输出的时候截断。可以修生成方法,调参解决加长截

老师,您说的截断是读取的时候截断还是输出的时候会截断?输出的时候截断。可以修生成方法,调参解决加长截断的文本参数吗

展开
收起
真的很搞笑 2023-03-02 23:18:35 283 分享 版权
1 条回答
写回答
取消 提交回答
  • 指的是训练时候默认是128,因为训练时候样本很多都被截断了,所以inference得时候即使再调节最大长度,模型也最多生成100个字。截断是读取输入数据时的截断,可以通过在 configuration.json 中为 preprocessor 添加 sequence_length 来设置,比如: { "preprocessor":{ "type": "text-gen-jieba-tokenizer", "sequence_length": 512 } },此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-03-02 23:22:21
    赞同 展开评论

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

收录在圈子:
+ 订阅

热门讨论

热门文章

还有其他疑问?
咨询AI助理