ModelScope如果我要把长度改成512呢,应该如何修改,我看默认是128的长度吗?
在初始化pipeline的时候传入sequence_length参数指定最大长度-此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
您观察得对,ModelScope的默认生成长度是128字符。如果需要修改为512字符,可以这样做:
初始化ModelScope时,传入max_length参数指定最大长度:
python
Copy
from transformers import ModelScope
scope = ModelScope(model="gpt-2", max_length=512)
使用scope.continue_chat()或scope.prompt()时,也可以传入max_length关键字参数覆盖默认值:
python
Copy
response = scope.continue_chat(query, max_length=512)
使用scope.generate()时也可以指定max_length:
python
Copy
samples = scope.generate(num_samples=3, max_length=512)
一些模型可能也支持在初始化时通过模型配置文件的max_length来调整,如GPT系列:
python
Copy
from transformers import GPT2Config, ModelScope
config = GPT2Config(max_length=512)
scope = ModelScope(model="gpt-2", config=config)
所以总体来说,要修改ModelScope的默认长度512,可以通过初始化时或接口调用时传入max_length参数来实现。参考默认值128修改为512即可。