ModelScope中,请问这边在运行14B-Chat-Int4z这个示例的时候没有获得正确结果应该怎么排查呢?
在运行ModelScope中的14B-Chat-Int4z示例时,如果没有获得正确的结果,你可以按照以下步骤进行排查:
检查模型版本:确保你使用的模型版本是正确的。你可以通过查看模型的元数据或者直接在模型的描述页面查找模型版本信息来确定模型版本。
检查输入数据:确保你提供的输入数据是有效的。你可以检查输入数据的格式、类型以及内容是否符合模型的要求。
检查模型配置:确保你使用的模型配置是正确的。你可以检查模型的参数设置,例如学习率、批次大小、优化器等。
检查模型训练:确保模型在训练过程中没有出现严重的问题。你可以检查模型的训练损失和验证损失,以及模型的准确率等指标。
检查模型部署:确保模型在部署过程中没有出现严重的问题。你可以检查模型的部署日志,以及模型的运行状态。
检查模型调用:确保你在调用模型时没有犯任何错误。你可以检查你的代码,确保你的模型调用方式是正确的。
您在notebook免费实例上试一下叭,可能您的机器内存或显存不够。一般是32G内存机器跑的,还没测过这个模型内存占用。显存模型卡片上有。——此回答整理自钉群:魔搭ModelScope开发者联盟群 ①