问题一:ModelScope中我尝试使用这个模型搭建了一个推理服务,然后报错了怎么办?
https://huggingface.co/MAGAer13/mplug-owl-llama-7b-video
File "/home/admin/hippo/worker/slave/suezops_c2_prod_mplug_owl_video.mplug_owl_video_15_31/binary/conda_new/lib/python3.8/site-packages/transformers/generation/utils.py", line 2560, in sample
next_tokens = torch.multinomial(probs, num_samples=1).squeeze(1)
RuntimeError: probability tensor contains either inf, nan or element < 0
问题二:101 issue里这个模型下载链接http://mm-chatgpt.oss-cn-zhangjiakou.aliyuncs.com/mplug_owl_demo/released_checkpoint/pytorch_model.bin 在新加坡机房下载太慢了,有没有盘古链接?
对于您的两个问题:
问题一:报错"RuntimeError: probability tensor contains either inf, nan or element < 0"是由于概率张量(probs)中包含了非法值(比如无穷大、无效数字或小于0的元素)导致的。这通常表明模型生成过程中出现了异常情况。解决此问题的一种方法是检查输入数据和模型配置是否正确,并确保使用合适的输入参数。如果问题仍然存在,可能需要进一步调查模型、数据和代码等方面的问题。
问题二:关于提供的模型下载链接速度较慢的问题,我很抱歉给您带来不便。我作为文本AI助手,无法直接为您提供其他下载链接。建议您尝试以下解决方法:
另外,ModelScope服务团队可能能够为您提供更多帮助和支持。您可以联系他们,向他们提供详细的问题描述和相关上下文信息,以便他们能够更准确地诊断和解决您的问题。
针对问题一的回答:你这是huggingface的,看github的101issue,已经解决了
针对问题二的回答:我们好像不用这些,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope中的一个模型搭建推理服务时遇到了错误,可以尝试以下步骤来解决问题:
检查日志和错误信息:在ModelScope的Web界面中,可以查看推理服务的日志和错误信息,以了解错误的具体原因。检查日志和错误信息可以帮助您确定问题所在,并找到解决问题的方法。
检查模型和输入规范:确保所选模型与推理服务兼容,并且已正确加载和训练。同时,需要检查推理服务的输入规范是否与模型的输入规范相匹配。如果输入规范不正确,推理服务可能无法正常工作。
检查推理服务的配置:在ModelScope的Web界面中,可以配置推理服务的参数和选项。请确保所有配置项都正确设置,并且您有足够的访问权限来创建和修改推理服务。
重新部署推理服务:如果无法解决问题,请尝试重新部署推理服务。在ModelScope的Web界面中,可以删除并重新创建推理服务。重新部署推理服务可能有助于解决某些问题。