ModelScope中，有大佬用过通义千问-14B-Chat-Int4吗？
ModelScope中，有大佬用过通义千问-14B-Chat-Int4吗，运行会卡在加载的地方一直不动，二十分钟都不动，有大佬知道什么原因吗
展开
收起
2
条回答
写回答
写回答
-
可能是由于以下原因导致的：
- 网络连接问题：如果您所在的网络环境不稳定或者网络速度较慢，可能会导致模型加载速度变慢。您可以尝试切换到更稳定或者更快速的网络环境，看看是否能够解决问题。
- 硬件配置问题：如果您使用的设备硬件配置较低，可能会导致模型加载速度变慢。您可以尝试升级设备的硬件配置，看看是否能够解决问题。
- 模型数据量过大：通义千问-14B-Chat-Int4模型的数据量非常大，如果您使用的存储空间不足，可能会导致模型加载速度变慢。您可以尝试清理不必要的文件，释放更多的存储空间，看看是否能够解决问题。
- 模型加载问题：如果模型的加载过程中出现了错误，可能会导致模型加载速度变慢。
2023-10-19 11:04:26赞同 展开评论 打赏 -
之前使用新版的7B-chat-int4时，没有安装deepspeed就不能很好加载与运行，不知道你是不是同样情况——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①
2023-10-18 21:28:46赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3443
ModelScope中，模型下载默认路径在哪个路径？
2580
我希望通过damo-YOLO训练1500*1500的图片
6947
服务器上onnxruntime-gpu 调用结束，如何释放显存
3221
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3164
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1247
ModelScope 使用14B模型推理时报这个错误？
861
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1647
请问modelscope中，有一个依赖，kantts，要怎么安装？
1338
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
939
展开全部
