AI 助理
备案控制台登录注册
开发者社区 ModelScope模型即服务 正文

ollama部署qwen后，能否用langchain.chatTongyi离线调用？

langchain_community.chat_models.chatTongyi，使用本地模型qwen:32b，在调用聊天时，会使用dashscope的url (https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation)
但是因为离线部署无法访问，所以程序报错。我想改成本地服务器部署后的对应url（ollama部署的，base_url=http://localhost:11434/v1/）

本地调用问答的时候用的是openai.OpenAI，可以直接调用http://localhost:11434/v1/，但是chatTongyi就不行了，默认调用的是 https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation，能该吗，怎么改？

展开
收起
AI聊天与本地知识库搭建
laizef 2024-12-13 17:45:26 153 发布于中国香港 分享
分享
 版权
举报
2 条回答
写回答
取消 提交回答
  • LucianaiB

    目前LangChain不支持直接与阿里云通义千问集成，建议您咨询阿里云工作人员以获取更多专业指导。如果对您有帮助的话，可以帮忙采纳一下。谢谢。

    2025-02-10 12:20:55 举报
    赞同 65 评论

    评论

    全部评论 (0)

    登录后可评论
  • gdgh2s 
    from langchain_ollama import ChatOllama
from rich import print

# Ollama加载本地模型(推荐)
chatLLM = ChatOllama(model="qwen2.5:1.5b",base_url="127.0.0.1:11434")
    2025-01-14 17:43:06 举报
    赞同 360 评论

    评论

    全部评论 (0)

    登录后可评论
相关问答
机器学习PAI DSW上部署的langchain的webui上传不了文件吗？
114
1
0
用langchain将mindopt和qwen大模型可以结合m吗？
55
1
0
使用PAI-EAS一键部署ChatGLM，并应用LangChain集成外部数据
1367
40
0
部署Langchain-Chatchat后，每次进入知识库管理都会提示页面没有相应。
95
0
0
modelscope中，知识库问答答非所问，改成langchain+ qwen +嵌入效果更好吗？
153
1
0
函数计算怎么通过Serverless部署Langchain-Chatchat呀，有没有教程啥的？
62
0
0
在ModelScope中，qwen 调用 langchain 的 prompt模版格式说明有吗？
694
3
0
怎么把langchain-chatglm 部署到paieas 里面去呀？
240
4
0
我们是dataworks专业版+adb pg环境，怎么部署执行python代码？
1368
1
0
云数据仓库ADB truncate partition
77
1
0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352

我要提问

相关文章

  • HarmonyOSNext 端云一体化（6）
  • 鸿蒙元服务实战-笑笑五子棋（1）
  • 鸿蒙元服务实战-笑笑五子棋（2）
  • 鸿蒙元服务实战-笑笑五子棋（5）
  • HarmonyOS Next 简单上手元服务开发

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？
  • 关于wan2.1显存占用的问题
  • lmstudio拉起qwq-32b-q3_k_m.gguf模型报错？
  • 在魔塔社区-模型服务 里面一键部署的deepseek模型怎么使用？
  • llama factory微调报错CUDA未被检测！
  • 无法导入 modelscope，已经pip install了
  • ModelScope下载速度慢怎么解决？
  • 我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
    • 展开全部
  • Agent TARS：一键让AI托管电脑！字节开源PC端多模态AI助手，无缝集成浏览器与系统操作
  • 用自然语言控制电脑，字节跳动开源 UI-TARS 的桌面版应用！内附详细的安装和配置教程
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • vanna+qwen实现私有模型的SQL转换
  • 高效部署通义万相Wan2.1：ComfyUI文生/图生视频实战，工作流直取！
  • Manus再遭复刻！开源多智能体协作工具，实时查看每个AI员工的"脑回路"
  • Reve Image：设计师失业警告！AI秒出海报级神图，排版自动搞定
  • ChatMCP：基于 MCP 协议开发的 AI 聊天客户端，支持多语言和自动化安装 MCP 服务器
  • CosyVoice 2.0：阿里开源升级版语音生成大模型，支持多语言和跨语言语音合成，提升发音和音色等的准确性
  • pdf-craft：PDF秒转Markdown/EPUB！接入DeepSeek轻松生成电子书，自动整理目录、注释和引文
    • 展开全部
    还有其他疑问?
    咨询AI助理
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等