“Qwen1.5全流程最佳实践”，cannot import from swift.llm
在参照“Qwen1.5全流程最佳实践”的文档中，无论是在自己环境还是阿里提供的jupyter Notebook 中，实验到推理步骤中，已安装autoawq、vllm、ms-swift[llm] -U，但在代码运行中，在使用awq-int4量化版本进行流式推理
ImportError: cannot import name 'inference' from 'swift.llm' (/usr/local/lib/python3.10/site-packages/swift/llm/__init__.py)
使用VLLM
ImportError: cannot import name 'get_vllm_engine' from 'swift.llm' (/usr/local/lib/python3.10/site-packages/swift/llm/__init__.py)
请问如何解决，感谢各位大佬解答
展开
收起
相关问答
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
7936
ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
5772
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
4512
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2581
modelscope-funasr的FunClip怎么安装的？
2612
ModelScope中，模型下载默认路径在哪个路径？
10488
我希望通过damo-YOLO训练1500*1500的图片
9100
幻兽帕鲁怎么搭建服务器
1057
ModelScope下载速度慢怎么解决？
1224
modelscope上跑报错，提示要pip install ttsfrd，搞不定
8005
展开全部
中企投资印度新能源“有戏”吗？
1510
CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
467
FLUX.1 Tools 全家桶开源！文末附一键ComfyUI启动链接
537
DeepSeek V3：DeepSeek 开源的最新多模态 AI 模型，编程能力超越Claude，生成速度提升至 60 TPS
160
ModelScope一键部署模型：新手村实操FAQ篇
5572
multi-agent：多角色Agent协同合作，高效完成复杂任务
34469
DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升
240
实战阿里qwen2.5-coder 32B，如何配置Cline的Ollama API接口。
122
千问团队开源会思考的QwQ模型，这模型成精了！
852
Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
12570
展开全部
