d4bhkgz3uzfz6_个人页

2024年05月

• 03.20 18:27:39
  发表了文章 2024-03-20 18:27:39

  vanna+qwen实现私有模型的SQL转换

  本文档介绍了如何在本地部署Vanna服务以使用Qwen模型进行text2sql转换。首先，通过`snapshot_download`下载Qwen-7B-Chat模型，并安装相关依赖。接着，修改`openai_api.py`设置本地LLM服务接口。然后，安装并配置Vanna Flask服务，包括自定义LLM服务、连接数据库以及修改端口。为了解决内网访问问题，使用ngrok或natapp进行内网穿透，提供公网访问。最后，处理了chromadb包中自动下载资源的问题，以防网络不佳导致的失败。通过这些步骤，实现了使用本地Qwen模型的Vanna服务。