1. 基本介绍
vanna作为先进灵活的text2sql转换服务，能够在页面上灵活添加训练的DDL和SQL语句，提供 RAG "model"，vanna官方提供支持openai、Ollma等LLM模型，但在国内希望本地部署，使用自己的元数据信息不外泄，因此本文帮助实现vanna+本地的QWEN模型实现本地访问。
2. 实现步骤
2.1部署Qwen通义千问的qwen-7B-Chat模型
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-14B',cache_dir='./model')
#下载Qwen仓库代码
!git clone https://github.com/QwenLM/Qwen.git
然后编辑openai_api.py，设置checkpoint_path= '/mnt/workspace/model/qwen/Qwen-7B-Chat'
替换前 替换后
文件替换完成后，就可以启动LLM服务
然后安装依赖包：pip install -r requirements.txt
注意：安装完毕后检查下transformers的版本，最好保持在pip install transformers==4.30.2
python ./openai_api.py
2.2部署vanna服务
pip install 'vanna[chromadb,openai]'
pip install pymysql
下载vanna-flask版本的服务
git clone https://github.com/vanna-ai/vanna-flask.git
#使用自定义的llm服务接口
from vanna.remote import VannaDefault
from vanna.openai.openai_chat import OpenAI_Chat
from vanna.chromadb.chromadb_vector import ChromaDB_VectorStore
from vanna.flask import VannaFlaskApp
from openai import OpenAI
import pandas as pd
import pymysql
client = OpenAI(
api_key="...",
base_url="http://127.0.0.1:8000/v1/",
default_headers = {"x-foo": "true"}
)
class MyVanna(ChromaDB_VectorStore,OpenAI_Chat):
def __init__(self,client=None,config=None):
ChromaDB_VectorStore.__init__(self,config=config)
OpenAI_Chat.__init__(self,client=client,config=config)
vn = MyVanna(client=client,config={"model": "Qwen-7B",}) #chatglm2-6b
vn.max_tokens = 800
vn.temperature = 0.5
#vn.connect_to_sqlite('https://vanna.ai/Chinook.sqlite')
修改app.py中的代码 ：
注释掉：load_dotenv()
然后修改vn的初始化逻辑，替换上面的代码：
修改启动端口：增加port=18888
启动vanna python ./app.py,输出本地的地址：http://127.0.0.1:18888
2.3内网穿透部署，提供公网访问地址
由于使用的是阿里的PAI训练机，本地地址无法在公网上访问极度不方便，因此就用到内网穿透的功能，可以使用ngrok或natapp。
ngrok方式：
from pyngrok import ngrok
ngrok.set_auth_token("") #设置访问ngrok的认证token，这个token需要在ngrok上注册个人账号后会生成的
ngrok_tunnel = ngrok.connect(18888) #建立通道，该命令执行后，会自动生成一个公网的域名地址，可以在公网上访问
这段代码加入到app.run()前面。
由于ngrok服务是国外的，经常被墙，可能在国内北方地区能够访问，南方地区就不能访问，因此可以使用国内的内网穿透服务natapp
natapp方式：
同样，需在natapp上注册账号获取token，并建立一个隧道服务。这个隧道直接绑定到内网服务的端口上的，并且可以设置代理地址访问时是否需要认证登录使用，保障安全。
在内网机器上下载linux版的natapp软件
wget https://cdn.natapp.cn/assets/downloads/clients/2_4_0/natapp_linux_amd64/natapp
并设置可执行权限
chmod 755 natapp
然后执行：
./natapp -authtoken=24dfff7012ce9095
注意:每次启动生成的公网域名地址是不同的。
开启您的Text2SQL之旅吧。
3.问题记录
在chromadb包里还有个自动去公网下载资源的地方，若网络不好则会下载失败，这个主要用于存储用户自定义训练信息的向量存储。
File "/opt/conda/lib/python3.10/site-packages/chromadb/utils/embedding_functions.py", line 514, in model
return self.ort.InferenceSession(
File "/opt/conda/lib/python3.10/site-packages/onnxruntime/capi/onnxruntime_inference_collection.py", line 419, in __init__
self._create_inference_session(providers, provider_options, disabled_optimizers)
File "/opt/conda/lib/python3.10/site-packages/onnxruntime/capi/onnxruntime_inference_collection.py", line 472, in _create_inference_session
sess = C.InferenceSession(session_options, self._model_path, True, self._read_config_from_model)
onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOBUF : Load model from /root/.cache/chroma/onnx_models/all-MiniLM-L6-v2/onnx/model.onnx failed:Protobuf parsing failed.
wget https://chroma-onnx-models.s3.amazonaws.com/all-MiniLM-L6-v2/onnx.tar.gz
vi /opt/conda/lib/python3.10/site-packages/chromadb/utils/embedding_functions.py
把MODEL_DOWNLOAD_URL的地址换成本地的地址：
file:///mnt/workspace/vanna-flask/onnx.tar.gz
