Whisper 整体架构图

简介: Whisper 整体架构图

Attention

注意力机制模块,兼容自注意力和交叉注意力。

AttentionBlock

Transformer 模块,包含一个自注意力,一个交叉注意力(可选)和一个 MLP 模块。

AudioEncoder+TextDecoder

音频编码器和文本解码器。编码器的 Transformer 模块只有自注意力,解码器的Transformer 模块有一个自注意力一个交叉注意力。

Whisper

Whisper 整体模型。

相关文章
|
12月前
|
数据采集 机器学习/深度学习 编解码
MMdetection框架速成系列 第02部分:整体算法流程+模型搭建流程+detection训练与测试核心组件+训练部分与测试部分的核心算法
众所周知,目标检测算法比较复杂,细节比较多,难以复现,而我们推出的 MMDetection 开源框架则希望解决上述问题。目前 MMdetection 已经复现了大部分主流和前沿模型,例如 Faster R-CNN 系列、Mask R-CNN 系列、YOLO 系列和比较新的 DETR 等等,模型库非常丰富,star 接近 13k,在学术研究和工业落地中应用非常广泛。
1103 0
|
机器学习/深度学习 编解码 算法
超详细!手把手带你轻松掌握 MMDetection 整体构建流程(一)
作为系列文章的第一篇解读,本文主要是从整体框架构建角度来解析,不会涉及到具体算法和代码,希望通过本文讲解: - MMDetection 整体构建流程和思想 - 目标检测算法核心组件划分 - 目标检测核心组件功能
798 0
超详细!手把手带你轻松掌握 MMDetection 整体构建流程(一)
|
14天前
|
机器学习/深度学习 算法 atlas
RAG 2.0架构详解:构建端到端检索增强生成系统
RAG(检索增强生成)旨在通过提供额外上下文帮助大型语言模型(LLM)生成更精准的回答。现有的RAG系统由独立组件构成,效率不高。RAG 2.0提出了一种预训练、微调和对齐所有组件的集成方法,通过双重反向传播最大化性能。文章探讨了不同的检索策略,如TF-IDF、BM25和密集检索,并介绍了如SPLADE、DRAGON等先进算法。目前的挑战包括创建可训练的检索器和优化检索-生成流程。研究表明,端到端训练的RAG可能提供最佳性能,但资源需求高。未来研究需关注检索器的上下文化和与LLM的协同优化。
47 1
|
2月前
|
机器学习/深度学习 人工智能 缓存
Griffin模型的主要架构和特点
【2月更文挑战第16天】Griffin模型的主要架构和特点
84 2
Griffin模型的主要架构和特点
|
3月前
|
机器学习/深度学习 存储 编解码
最新轻量化Backbone | FalconNet汇聚所有轻量化模块的优点,成就最强最轻Backbone
最新轻量化Backbone | FalconNet汇聚所有轻量化模块的优点,成就最强最轻Backbone
59 1
|
11月前
|
架构师 测试技术 uml
我懂了,原来这就是4+1架构模型!
我懂了,原来这就是4+1架构模型!
1388 0
|
12月前
|
uml
「应用架构」TOGAF建模之应用架构:流程/系统实现图
「应用架构」TOGAF建模之应用架构:流程/系统实现图
|
12月前
|
uml
「应用架构」应用架构之TOGAF建模:流程/系统实现图
「应用架构」应用架构之TOGAF建模:流程/系统实现图
|
12月前
|
存储 uml
「应用架构」TOGAF建模之应用架构:应用程序迁移图
「应用架构」TOGAF建模之应用架构:应用程序迁移图
|
12月前
|
编解码 数据库
详细分析ResNet | 用CarNet教你如何一步一步设计轻量化模型(二)
详细分析ResNet | 用CarNet教你如何一步一步设计轻量化模型(二)
146 0