通过Jina Embeddings模型将文本转换为向量

简介: 本文介绍如何通过Jina Embeddings v2模型将文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。

免费体验阿里云高性能向量检索服务https://www.aliyun.com/product/ai/dashvector


文本转换为向量有多种方式:

方法一:通过模型服务灵积DashScope将文本转换为向量(推荐)

方法二:通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量

方法三:通过Jina Embeddings v2模型将文本转换为向量

方法四:通过百川智能向量化模型将文本转换为向量


本文介绍方法三:如何通过Jina Embeddings v2模型文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。


前提条件

  • DashVector:
  • Jina AI

Jina Embeddings v2模型

简介

Jina Embeddings v2模型,唯一支持 8192 个词元长度的开源向量模型,在大规模文本向量化基准 (MTEB) 的功能和性能方面与 OpenAI 的闭源模型 text-embedding-ada-002 相当。

模型名称

向量维度

度量方式

向量数据类型

备注

jina-embeddings-v2-small-en

512

Cosine

Float32

  • 词元长度限制:8192

jina-embeddings-v2-base-en

768

Cosine

Float32

  • 词元长度限制:8192

jina-embeddings-v2-base-zh

768

Cosine

Float32

  • 词元长度限制:8192

说明

关于Jina Embeddings v2模型更多信息请参考:Jina Embeddings v2模型

使用示例

说明

需要进行如下替换代码才能正常运行:

1.DashVector api-key替换示例中的{your-dashvector-api-key}

2.DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}

3.Jina AI api-key替换示例中的{your-jina-api-key}

以下为Python示例:

from dashvector import Client
import requests
from typing import List
# 调用Jina Embeddings v2模型,将文本embedding为向量
def generate_embeddings(texts: List[str]):
    headers = {
      'Content-Type': 'application/json',
      'Authorization': 'Bearer {your-jina-api-key}'
    }
    data = {'input': texts, 'model': 'jina-embeddings-v2-base-zh'}
    response = requests.post('https://api.jina.ai/v1/embeddings', headers=headers, json=data)
    return [record["embedding"] for record in response.json()["data"]]
    
# 创建DashVector Client
client = Client(
    api_key='{your-dashvector-api-key}',
    endpoint='{your-dashvector-cluster-endpoint}'
)
# 创建DashVector Collection
rsp = client.create('jina-text-embedding', 768)
assert rsp
collection = client.get('jina-text-embedding')
assert collection
# 向量入库DashVector
collection.insert(
    ('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0])
)
# 向量检索
docs = collection.query(
    generate_embeddings(['The best vector database'])[0]
)
print(docs)



了解更多阿里云向量检索服务DashVector的使用方法,请点击:

https://help.aliyun.com/product/2510217.html?spm=a2c4g.2510217.0.0.54fe155eLs1wkT

相关文章
|
3月前
|
人工智能 自然语言处理 开发工具
通过ModelScope开源Embedding模型将文本转换为向量
本文介绍如何通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。
|
2天前
|
JSON 数据处理 数据格式
yolov8训练自己的数据集以及权重转化为.engine格式(超详细)
yolov8训练自己的数据集以及权重转化为.engine格式(超详细)
|
5月前
|
自然语言处理 Python
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
【Python自然语言处理】文本向量化的六种常见模型讲解(独热编码、词袋模型、词频-逆文档频率模型、N元模型、单词-向量模型、文档-向量模型)
277 0
|
4月前
|
人工智能 API 开发工具
如何将多种模态转换为向量?
本文介绍如何通过模型服务灵积DashScope进行多模态向量生成,并入库至向量检索服务DashVector中进行向量检索。
|
4月前
|
人工智能 自然语言处理 API
如何将文本转换为向量?
本文介绍如何通过模型服务灵积DashScope将文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。
如何将文本转换为向量?
|
5月前
TF-IDF 怎样将用单词权重的向量表示一个文档
TF-IDF 怎样将用单词权重的向量表示一个文档
27 1
|
10月前
|
数据挖掘
基于text2vec进行文本向量化、聚类
基于text2vec进行文本向量化、聚类
986 0
|
机器学习/深度学习 自然语言处理 算法
【文本分类】深入理解embedding层的模型、结构与文本表示
【文本分类】深入理解embedding层的模型、结构与文本表示
564 0
【文本分类】深入理解embedding层的模型、结构与文本表示
|
机器学习/深度学习 自然语言处理 数据处理
基于TF-IDF与逻辑回归模型实现文本实体关系抽取任务
基于TF-IDF与逻辑回归模型实现文本实体关系抽取任务
131 0
基于TF-IDF与逻辑回归模型实现文本实体关系抽取任务
|
机器学习/深度学习 数据采集 存储
对离散特征进行数据预处理:独热编码、标签编码及二值化
使用机器学习时,会存在不同的特征类型:连续型特征和离散型特征。 针对连续性特征,我们通常将其线性缩放到[-1, 1]区间或者缩放到均值为0,方差为1的范围。 但是,特征并不总是连续值,而有可能是分类值、离散值。因此,我们也需要对离散值进行特征编码数据预处理。

相关实验场景

更多