“Qwen1.5全流程最佳实践”，cannot import from swift.llm
在参照“Qwen1.5全流程最佳实践”的文档中，无论是在自己环境还是阿里提供的jupyter Notebook 中，实验到推理步骤中，已安装autoawq、vllm、ms-swift[llm] -U，但在代码运行中，在使用awq-int4量化版本进行流式推理
ImportError: cannot import name 'inference' from 'swift.llm' (/usr/local/lib/python3.10/site-packages/swift/llm/__init__.py)
使用VLLM
ImportError: cannot import name 'get_vllm_engine' from 'swift.llm' (/usr/local/lib/python3.10/site-packages/swift/llm/__init__.py)
请问如何解决，感谢各位大佬解答
-
看起来您在尝试导入与Qwen1.5相关的Swift库时遇到了问题，建议检查您的项目依赖是否正确配置，或者您可以咨询一下阿里云的工作人员以获取更详细的指导。如果对您有帮助的话，可以帮忙采纳一下。谢谢。
2025-02-10 08:02:04赞同 137 展开评论 -
你遇到的问题是因为
swift.llm模块中没有找到inference和get_vllm_engine这两个函数。可以尝试更新swift.llm到最新版本，或者检查是否正确安装了autoawq和vllm。如果还是不理解的话，可以直接询问阿里云客服，或者提交工单给阿里云的技术顾问，回答不易，麻烦大佬给个采纳，谢谢。2025-02-09 21:11:28赞同 133 展开评论
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352