DashVector + ModelScope 检索
参考文档测试 https://help.aliyun.com/document_detail/2510236.html
安装python依赖,包含dashvector, modelscope,torch相关联依赖
pip3 install dashvector
pip3 install --upgrade modelscope -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
pip3 install decord
pip3 install torch torchvision opencv-python timm librosa fairseq transformers unicodedata2 zhconv rapidfuzz
数据集准备
from modelscope.msdatasets import MsDataset
dataset = MsDataset.load("muge", split="validation")
修改文档中{your-dashvector-api-key}和{your-dashvector-cluster-endpoint},执行代码,创建muge_embedding collection,pipe.forward 生成 image_embeddings 数据,使用 collection.insert 写入图片数据到向量数据库。查看已写入数据:
然后是检索数据,因当前写入数据量较少,没有生成对应图片
测试过程主要问题在数据的入库,批次能写入的数量较少,如果有大量数据不容易写入。