免费体验阿里云高性能向量检索服务：https://www.aliyun.com/product/ai/dashvector
本文介绍如何通过模型服务灵积DashScope进行多模态向量生成，并入库至向量检索服务DashVector中进行向量检索。
模型服务灵积DashScope，通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可以对模型进行训练微调，实现模型定制化。
前提条件
- DashVector：
- 已创建Cluster：创建Cluster
- 已获得API-KEY：API-KEY管理
- 已安装最新版SDK：安装DashVector SDK
- DashScope：
- 已开通服务并获得API-KEY：开通DashScope并创建API-KEY
- 已安装最新版SDK：安装DashScope SDK
ONE-PEACE多模态向量表征
简介
ONE-PEAC是一个图文音三模态通用表征模型，在语义分割、音文检索、音频分类和视觉定位几个任务都达到了新SOTA表现，在视频分类、图像分类、图文检索、以及多模态经典benchmark也都取得了比较领先的结果。
模型名称 |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
multimodal-embedding-one-peace-v1 |
1536 |
Cosine |
Float32 |
|
说明
关于灵积ONE-PEACE多模态向量表征更多信息请参考：ONE-PEACE多模态向量表征。
使用示例
说明
需要进行如下替换代码才能正常运行：
- DashVector api-key替换示例中的{your-dashvector-api-key}
- DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
- DashScope api-key替换示例中的{your-dashscope-api-key}
importdashscopefromdashscopeimportMultiModalEmbeddingfromdashvectorimportClientdashscope.api_key='{your-dashscope-api-key}'# 调用DashScope ONE-PEACE模型，将各种模态素材embedding为向量defgenerate_embeddings(text: str=None, image: str=None, audio: str=None): input= [] iftext: input.append({'text': text}) ifimage: input.append({'image': image}) ifaudio: input.append({'audio': audio}) result=MultiModalEmbedding.call( model=MultiModalEmbedding.Models.multimodal_embedding_one_peace_v1, input=input, auto_truncation=True ) ifresult.status_code!=200: raiseException(f"ONE-PEACE failed to generate embedding of {input}, result: {result}") returnresult.output["embedding"] # 创建DashVector Clientclient=Client( api_key='{your-dashvector-api-key}', endpoint='{your-dashvector-cluster-endpoint}') # 创建DashVector Collectionrsp=client.create('one-peace-embedding', 1536) assertrspcollection=client.get('one-peace-embedding') assertcollection# 向量入库DashVectorcollection.insert( [ ('ID1', generate_embeddings(text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一')), ('ID2', generate_embeddings(image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png')), ('ID3', generate_embeddings(audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac')), ('ID4', generate_embeddings( text='阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一', image='https://dashscope.oss-cn-beijing.aliyuncs.com/images/256_1.png', audio='https://dashscope.oss-cn-beijing.aliyuncs.com/audios/cow.flac' )) ] ) # 向量检索docs=collection.query( generate_embeddings(text='The best vector database') ) print(docs)
相关最佳实践
向量检索服务 DashVector免费试用进行中，玩转大模型搜索，快来试试吧~
了解更多信息，请点击：https://www.aliyun.com/product/ai/dashvector
