Qwen-7B-Chat长文本问答遇到问题?

短文本的问答是没有问题,根据说明文档,修改了use_dynamc_ntk和use_logn_attn为True,输入一个7000多长度的文本会报错维度不匹配。The size of tensor a (6144) must match the size of tensor b (6228) at non-singleton dimension 3,增大seq_length和n_positions后返回的结果为空

展开
收起
vzmyb6dsvbofu 2023-08-14 11:59:20 1224 分享 版权
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    GPT-3.5模型有一个最大的序列长度限制,通常为2048或4096。如果你的输入文本长度超过了这个限制,你需要进行适当的处理。以下是一些可能的解决方案:

    缩短文本:将文本长度缩短至模型限制范围内。你可以尝试截断文本,只保留关键信息或重要上下文。

    分段输入:将长文本分割为较短的片段,然后逐段输入模型进行处理。你可以将多个问题和回答分别输入模型,并根据需要进行逐段交互。

    上下文管理:对于长文本对话,适当管理上下文信息可能是有帮助的。你可以在每个回答之后将上下文信息传递给下一个请求,以保持对话的连贯性。

    此外,你提到增大seq_length和n_positions后返回的结果为空。请注意,增加这些参数的值可能会增加模型的内存和计算需求。如果你的输入文本非常长,可能会导致内存不足或超出模型的处理能力。在调整这些参数时,需要根据你的系统资源和模型能力进行权衡。

    2023-08-16 07:54:13
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

还有其他疑问?
咨询AI助理