Poly-encoder 架构

简介: Poly-encoder 架构
Poly-encoders: architectures and pre-training strategies for fast and accurate 
                            multi-sentence scoring
 非官方github : https://github.com/chijames/Poly-Encoder
                https://github.com/sfzhou5678/PolyEncoder


Poly-encoder 架构可以用于推荐和搜索领域,只要是涉及两个 sequence 的比较的情况,都可以应用 Poly-encoder。


在速度上优于  cross-encoder,  质量上优于 bi-encoder 。


可以和 StarSpace (一种 learn-to-rank 模型, 效果好于 FastText 和 SVM), 以及最近邻库 FAISS 来使用。


视频讲解地址 https://www.zhihu.com/zvideo/1455299489448202240



image.png


https://blog.csdn.net/qq_43390809/article/details/113586877

https://blog.csdn.net/xixiaoyaoww/article/details/108525940

https://zhuanlan.zhihu.com/p/380867813

https://blog.csdn.net/choose_c/article/details/118270484



目录
相关文章
|
6月前
|
机器学习/深度学习 XML 自然语言处理
Transformer 架构—Encoder-Decoder
Transformer 架构—Encoder-Decoder
315 1
|
机器学习/深度学习 人工智能 PyTorch
|
20天前
|
机器学习/深度学习 测试技术 计算机视觉
【YOLOv11改进 - 注意力机制】LSKA(Large Separable Kernel Attention):大核分离卷积注意力模块
【YOLOv11改进 - 注意力机制】LSKA(Large Separable Kernel Attention):大核分离卷积注意力模块
【YOLOv11改进 - 注意力机制】LSKA(Large Separable Kernel Attention):大核分离卷积注意力模块
|
6月前
|
存储 缓存 分布式计算
You Only Cache Once:YOCO 基于Decoder-Decoder 的一个新的大语言模型架构
YOCO是一种新的解码器-解码器架构,旨在解决大型语言模型推理时的内存限制问题。通过只缓存一次键值对,YOCO显著减少了GPU内存占用,与Transformer相比,内存使用降低了约L倍。模型由自解码器和交叉解码器组成,自解码器使用滑动窗口注意力,而交叉解码器利用全局KV缓存。实验表明,YOCO在保持竞争力的性能同时,提高了推理速度,尤其是在处理长序列时。此外,YOCO还减少了预填充时间,提升了吞吐量。
221 3
|
6月前
|
机器学习/深度学习 算法 计算机视觉
YOLOv8改进 | 融合模块 | 用Resblock+CBAM卷积替换Conv【轻量化网络】
在这个教程中,介绍了如何将YOLOv8的目标检测模型改进,用Resblock+CBAM替换原有的卷积层。Resblock基于ResNet的残差学习思想,减少信息丢失,而CBAM是通道和空间注意力模块,增强网络对特征的感知。教程详细解释了ResNet和CBAM的原理,并提供了代码示例展示如何在YOLOv8中实现这一改进。此外,还给出了新增的yaml配置文件示例以及如何注册模块和执行程序。作者分享了完整的代码,并对比了改进前后的GFLOPs计算量,强调了这种改进在提升性能的同时可能增加计算需求。教程适合深度学习初学者实践和提升YOLO系列模型的性能。
|
机器学习/深度学习 自然语言处理 算法
【Transformer系列(1)】encoder(编码器)和decoder(解码器)
【Transformer系列(1)】encoder(编码器)和decoder(解码器)
3859 0
【Transformer系列(1)】encoder(编码器)和decoder(解码器)
|
6月前
|
机器学习/深度学习 自然语言处理 机器人
编码器-解码器(Encoder-Decoder)结构
编码器-解码器(Encoder-Decoder)结构
647 5
|
6月前
|
机器学习/深度学习 存储 人工智能
另一种替代Transformer架构将得到有意义的采用
【1月更文挑战第15天】另一种替代Transformer架构将得到有意义的采用
238 2
另一种替代Transformer架构将得到有意义的采用
|
6月前
|
机器学习/深度学习 算法 索引
Transformer中解码器decoder的详细讲解(图文解释)
Transformer中解码器decoder的详细讲解(图文解释)
735 0
Transformer中解码器decoder的详细讲解(图文解释)
|
6月前
|
机器学习/深度学习 资源调度 PyTorch
卷积神经网络中的Conv层和BN层融合细节
卷积神经网络中的Conv层和BN层融合细节
152 0