ModelScope的souce_sentence的list大小有要求吗，可以塞多少个性能没问题？

看你的显卡显存大小，32G的V100 128长度建议list大小128-此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

ModelScope的source_sentence接受一个列表作为输入,列表大小默认没有明确限制,但实际上会影响性能和内存占用:

列表越长,传输和处理数据量就越大,性能和响应时间会下降。

一般来说,个别模型有自己的batch大小限制,超过这个限制可能会报错。

ModelScope内部会将列表转化为批处理输入模型,所以列表长度会直接影响批大小。

太长的列表可能会触发内存限制导致模型无法处理。

一般来说:

BERT系列和GPT系列模型,源列表长度最大在100个左右可以保证性能。

Transformer模型可能支持稍长一些,到几百个没问题。

极端情况下若只有几个字符串,列表长度10000多也未必有明显影响。

所以具体情况下:

推荐源列表长度控制在100个以下。

可以适当增加,但注意响应时间和内存占用。

如果集群有明确限制,不超过那个限制。

如遇内存报错,可以考虑缩小批大小解决。