DashVector + ModelScope 检索

简介: DashVector + ModelScope 检索

DashVector + ModelScope 检索
参考文档测试 https://help.aliyun.com/document_detail/2510236.html

安装python依赖,包含dashvector, modelscope,torch相关联依赖

pip3 install dashvector
pip3 install --upgrade modelscope -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
pip3 install decord
pip3 install torch torchvision opencv-python timm librosa fairseq transformers unicodedata2 zhconv rapidfuzz

数据集准备

from modelscope.msdatasets import MsDataset

dataset = MsDataset.load("muge", split="validation")

修改文档中{your-dashvector-api-key}和{your-dashvector-cluster-endpoint},执行代码,创建muge_embedding collection,pipe.forward 生成 image_embeddings 数据,使用 collection.insert 写入图片数据到向量数据库。查看已写入数据:
20240115170239.png

然后是检索数据,因当前写入数据量较少,没有生成对应图片
20240115170401.png

20240115170412.png

测试过程主要问题在数据的入库,批次能写入的数量较少,如果有大量数据不容易写入。

目录
相关文章
|
8天前
|
编解码 异构计算 Python
DashVector + ModelScope 玩转多模态检索
本教程演示如何使用向量检索服务(DashVector),结合ModelScope上的中文CLIP多模态检索模型,构建实时的“文本搜图片”的多模态检索能力。作为示例,我们采用多模态牧歌数据集作为图片语料库,用户通过输入文本来跨模态检索最相似的图片。
|
8天前
|
人工智能 Cloud Native 开发工具
DashVector + ModelScope 玩转多模态检索
本文主要介绍通过DashVector和ModelScope中的Chinese Clip模型实现文搜图、图搜图等功能,同时结合DashText SDK实现sparse vector+dense vector混合检索,熟悉sparse vector的使用方法,提高检索效率。
|
8天前
|
自然语言处理
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
在ModelScope中,你可以通过设置模型的参数来控制输出的阈值
19 1
|
8天前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
40 2
|
8天前
|
人工智能 API 决策智能
Modelscope结合α-UMi:基于Modelscope的多模型协作Agent
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
|
8天前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
305 3
|
8天前
|
数据采集 自然语言处理 搜索推荐
ModelScope问题之模型encoder配置报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
97 0
|
8天前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
115 1
|
8天前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
240 3
|
8天前
|
API
使用ModelScope平台进行模型验证时
【2月更文挑战第9天】使用ModelScope平台进行模型验证时
68 4

热门文章

最新文章