开发者社区 > ModelScope模型即服务 > 正文

ollama部署qwen后,能否用langchain.chatTongyi离线调用?

langchain_community.chat_models.chatTongyi,使用本地模型qwen:32b,在调用聊天时,会使用dashscope的url (https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation)
但是因为离线部署无法访问,所以程序报错。我想改成本地服务器部署后的对应url(ollama部署的,base_url=http://localhost:11434/v1/)

本地调用问答的时候用的是openai.OpenAI,可以直接调用http://localhost:11434/v1/,但是chatTongyi就不行了,默认调用的是 https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation,能该吗,怎么改?

展开
收起
laizef 2024-12-13 17:45:26 27 0
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
消电行业数据中台解决方案白皮书 立即下载
(终极版)2020阿里云金融数据中台报告 立即下载
2020年中国乳制品行业数据中台研究报告 立即下载