【LLM】深入浅出学习模型中Embedding(嵌入)

简介: 【5月更文挑战第2天】人工智能嵌入深入浅出介绍

[toc]


嵌入是我们遇到的许多技术中看不见但很重要的一部分。从互联网搜索引擎,到推荐系统和广告个性化,再到图像、视频以及语音和声音识别技术的高级分析,嵌入无处不在。在本文中,我们将解释嵌入是如何工作的,以及它们如何促进和丰富我们的日常技术体验。正如我上面提到的,向量嵌入是一种流行的技术,它以一种可以被算法(尤其是深度学习模型)轻松处理的格式(通常作为数值向量)表示信息,这些“信息”可以是文本、图片、视频和音频。

例如,将单词“dog”转换为数字向量表示可能如下所示:
image.png

决定嵌入质量和有效性的一个关键因素是嵌入维度。通常,术语“词嵌入的维度”是指用于定义单词向量表示的维度总数。这个数字通常是在单词嵌入的发展过程中建立的,它表示单词的向量表示中包含多少个不同的特征。对于文本嵌入,这些向量的构造方式可以捕获文本的语义含义。这确保了传达相似含义的单词或句子在嵌入空间(通常称为向量空间)中彼此靠近。

假设我们有一个只有两个维度的空间 - [x, y],其中 x 代表性别,y 代表活动。
image.png

假设现在,通过问“谁在走路?”这个问题,嵌入将搜索在y维度中包含“走路”句子的向量。
image.png

我们可以观察到,“走路”这句话与一个女人、一个男人、一个男孩和一个女孩有关。这意味着他们都在走路。因此,我们得到了答案:一个女人,一个男人,一个男孩和一个女孩在走路。

以上是一个非常简化的例子,只有两个维度的含义。实际上,这样的维度越多,我们的嵌入就越能更好地猜测保存的句子作为单词或短语的含义。

相关文章
|
2天前
|
人工智能 缓存 API
谷歌发布MediaPipe LLM Inference API,28亿参数模型本地跑
【2月更文挑战第24天】谷歌发布MediaPipe LLM Inference API,28亿参数模型本地跑
105 3
谷歌发布MediaPipe LLM Inference API,28亿参数模型本地跑
|
2天前
|
存储 算法 测试技术
大模型落地的必经之路 | GPTQ加速LLM落地,让Transformer量化落地不再困难
大模型落地的必经之路 | GPTQ加速LLM落地,让Transformer量化落地不再困难
133 0
|
2天前
|
缓存 API 开发者
魔搭社区牵手FastChat&vLLM,打造极致LLM模型部署体验
FastChat是一个开放平台,用于训练、服务和评估基于LLM的ChatBot。
|
2天前
|
机器学习/深度学习 人工智能 JSON
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
LLM 大模型学习必知必会系列(一):大模型基础知识篇
LLM 大模型学习必知必会系列(一):大模型基础知识篇
LLM 大模型学习必知必会系列(一):大模型基础知识篇
|
2天前
|
存储 安全 机器人
【LLM】智能学生顾问构建技术学习(Lyrz SDK + OpenAI API )
【5月更文挑战第13天】智能学生顾问构建技术学习(Lyrz SDK + OpenAI API )
|
2天前
|
机器学习/深度学习 自然语言处理 计算机视觉
【大模型】小样本学习的概念及其在微调 LLM 中的应用
【5月更文挑战第5天】【大模型】小样本学习的概念及其在微调 LLM 中的应用
|
2天前
|
机器学习/深度学习 JSON 自然语言处理
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
通过LLM2Vec,我们可以使用LLM作为文本嵌入模型。但是简单地从llm中提取的嵌入模型往往表现不如常规嵌入模型。
42 5
|
2天前
|
开发框架 数据可视化 Windows
如何提升大模型Agent的能力 ——LLM Agent框架 Modelscope-Agent 实战
本文介绍Agent到底是什么 ,如何进行优化,以及如何使用Agen框架。
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
LLM资料大全:文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等