ModelScope chatGLM2-6b-32k最长不该是2048吧?

ModelScope chatGLM2-6b-32k最长不该是2048吧?
iQEdAqNqcGcDAQTNBDgFVAbaACOEAaQhNec4AqqvZI3Ae-diBt7zA88AAAGKMOXZ_gTOAA_MiQcACAAKBA.jpg_720x720q90.jpg

展开
收起
青城山下庄文杰 2023-08-29 14:52:28 263 分享 版权
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    我已经认真阅读了 你的问题:

    【 ModelScope chatGLM2-6b-32k最长不该是2048吧?

    并思考了

    建议如下:


    这个模型是基于 GLM-130B 模型开发的,其中 6b 表示隐藏层维度为 6 亿,32k 表示词汇表大小为 32 千。在这个模型中,序列长度最长为 2048,这意味着在处理输入时,序列长度不能超过 2048。如果输入序列长度超过 2048,模型可能无法正确处理。
    为了确保输入序列长度不超过 2048,您可以在处理输入时对序列进行截断。例如,如果您使用的是 PyTorch,可以使用 torch.nn.utils.rnn.pack_padded_sequence 和 torch.nn.utils.rnn.pad_packed_sequence 函数来截断和填充输入序列,使其长度不超过 2048。

    2023-08-31 07:32:58
    赞同 展开评论

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理