没有generation config的,ModelScope的damo/nlp_gte_sentence-embedding_chinese-base的这个模型,vllm可以跑嘛?
对于damo/nlp_gte_sentence-embedding_chinese-base模型,这是一个用于中文句子嵌入的预训练模型。根据ModelScope上的文档,该模型是基于BERT的预训练模型,主要用于提取文本特征。这个模型在很多自然语言处理任务中都可以使用,例如情感分析、命名实体识别等。至于您提到的“vllm”,我猜测您可能是在询问VLM(Visual Language Model)相关的内容。但请注意,damo/nlp_gte_sentence-embedding_chinese-base模型是一个纯粹的文本模型,不涉及图像或视觉内容。如果您需要处理图像和文本结合的任务,可以考虑查找与VLM相关的模型。要运行damo/nlp_gte_sentence-embedding_chinese-base模型,您可以按照以下步骤操作:
pip install transformers
加载模型:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("damo/nlp_gte_sentence-embedding_chinese-base")
model = AutoModel.from_pretrained("damo/nlp_gte_sentence-embedding_chinese-base")
使用模型对输入文本进行编码:
input_text = "这是一个示例句子。"
encoded_input = tokenizer(input_text, return_tensors="pt")
# 获取模型输出
outputs = model(**encoded_input)
# 提取最后一层隐藏状态作为句子向量表示
sentence_embedding = outputs.last_hidden_state.mean(dim=1)
这样就可以使用damo/nlp_gte_sentence-embedding_chinese-base模型对中文文本进行编码并获取句子向量表示了。
vllm貌似还不支持这个模型,您参考flask试试。https://modelscope.cn/docs/%E4%BD%BF%E7%94%A8Flask%E6%90%AD%E5%BB%BA%E6%A8%A1%E5%9E%8B%E6%9C%8D%E5%8A%A1 此回答整理自钉群 “魔搭ModelScope开发者联盟群 ①”