开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

魔搭平台FastChat搭建Qwen-1_8B模型报错 求怎么解决?

今天在阿里modelscope提供的魔搭平台免费实例,尝试使用FastChat训练部署Qwen-1_8B-Chat,然后使用gradio-web-ui 启动webui页面。说下遇到的问题:

1.在提供的/mnt/workspace目录,发现git clone 经常下载不下来一直到一半报错,然后切到上一级目录再git clone,发现才能下载下来。

2.pip install .安装 fastchat

python -m fastchat.serve.controller --host 0.0.0.0 正常

python3 -m fastchat.serve.model_worker --model-path /mnt/workspace/.cache/modelscope/hub/Qwen/Qwen-1_8B-Chat

出现了一个警告,WARNING: Error parsing dependencies of pytorch-lightning: . suffix can only be used with == or != operators torch (>=1.9.) 但是不影响启动

gradio-web-ui:python3 -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8000

开启web发现报错警告但是可以启动:ERROR | stderr | /usr/local/lib/python3.10/site-packages/gradio/components/chatbot.py:237: UserWarning: You have not specified a value for the type parameter. Defaulting to the 'tuples' format for chatbot messages, but this is deprecated and will be removed in a future version of Gradio. Please set type='messages' instead, which uses openai-style dictionaries with 'role' and 'content' keys.

访问页面:https://dsw-gateway-cn-hangzhou.data.aliyun.com/dsw-806267/proxy/7860/
发现能进去页面但是一直提示报错:Error Connection errored out.
image.png
发现接口403.

然后以为是上面哪个错误警告导致的,于是修改了 fastchat的源码在
/mnt/FastChat/fastchat/serve/gradio_web_server.py加上了type类型

chatbot = gr.Chatbot(
type="messages",
...
)
然后重启python3 -m fastchat.serve.gradio_web_server --host 0.0.0.0 --port 8000

发现启动不报错了,但是访问 网页还是一直报上面的错误。请问大家 通过 提供的服务可以成功吗?请大佬指教谢谢!

展开
收起
1507395097940844 2025-01-10 10:27:56 3 0
0 条回答
写回答
取消 提交回答

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载