前馈神经网络

简介: 前馈网络(FFN)是Transformer的核心模块,提供非线性变换。标准FFN为两层线性加激活函数,扩展倍数通常为4;MoE则通过稀疏激活、动态路由提升模型容量与效率。常用激活函数包括ReLU、GELU(BERT采用)和SwiGLU(LLaMA采用)。相比标准FFN,MoE参数更多、表达更强,计算更高效。

概述
前馈网络(FFN)是Transformer中的重要组件,提供非线性变换能力。
🏗️ 网络结构
1️⃣ 标准FFN
● 结构:Linear → Activation → Linear
● 公式:$\text{FFN}(x) = \text{Linear}(\text{Activation}(\text{Linear}(x)))$
● 扩展系数:通常4倍隐藏维度
2️⃣ 混合专家模型 (MoE)
● 原理:稀疏激活的专家网络
● 特点:
○ 参数量大但计算高效
○ 动态路由机制
○ 专家并行
⚡ 激活函数
1️⃣ ReLU
● 公式:$\text{ReLU}(x) = \max(0, x)$
● 特点:简单高效,但可能神经元死亡
2️⃣ GELU
● 公式:$\text{GELU}(x) = x \cdot \Phi(x)$
● 特点:平滑激活,BERT使用
3️⃣ SwiGLU
● 公式:$\text{SwiGLU}(x) = \text{SiLU}(xW) \otimes (xV)$
● 特点:GLU变体,LLaMA使用
📊 结构对比
类型 参数量 计算量 表达能力
标准FFN 少 少 中
MoE 多 中 强

相关文章
|
机器学习/深度学习 PyTorch 算法框架/工具
为什么大型语言模型都在使用 SwiGLU 作为激活函数?
SwiGLU可以说是在大语言模型中最常用到的激活函数,我们本篇文章就来对他进行详细的介绍。
2620 9
|
人工智能 监控 算法
Transformer模型训练全解析:从数据到智能的炼金术
模型训练是让AI从数据中学习规律的过程,如同教婴儿学语言。预训练相当于通识教育,为模型打下通用知识基础;后续微调则针对具体任务。整个过程包含数据准备、前向传播、损失计算、反向更新等步骤,需克服过拟合、不稳定性等挑战,结合科学与艺术,最终使模型具备智能。
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
3260 4
|
11月前
|
机器学习/深度学习 Serverless 网络架构
🧠 前馈神经网络
前馈网络(FFN)是Transformer核心模块,实现非线性变换。标准FFN为两层线性加激活函数,计算高效;MoE引入稀疏激活与专家路由,参数多但计算优化。常用激活函数包括ReLU、GELU(BERT采用)和SwiGLU(LLaMA采用),后者结合门控机制提升表达能力。不同结构在参数量、计算量与性能间权衡。
|
11月前
|
人工智能 数据可视化 安全
WhatsApp Business API 怎么用?阿里云 Chat App 常见问题(持续更新)
全面解答阿里云 Chat App 消息服务高频问题,涵盖 WhatsApp Business 账号注册、模板审核、API 集成、多通道发送、计费规则、AI 机器人配置、安全合规等。出海企业必备指南,助您高效触达全球 30 亿用户。
1895 0
|
人工智能 调度 芯片
《大模型背后的隐形战场:异构计算调度全解析》
在大模型训练中,CPU、GPU和AI芯片各司其职:CPU擅长逻辑控制,GPU专攻并行计算,AI芯片则针对特定AI任务优化。然而,实现三者的高效协同面临诸多挑战,如任务分配、通信延迟及资源管理等问题。通过动态任务分配、通信优化与资源调整等策略,可提升训练效率。未来,随着硬件进步和算法智能化,异构计算协同调度将更加高效,并结合云计算、边缘计算等技术拓展应用范围,推动人工智能技术发展。
943 15
|
关系型数据库 BI OLAP
一招解决数据库中报表查询慢的痛点
本文旨在解决传统数据库系统如PostgreSQL在处理复杂分析查询时面临的性能瓶颈问题。
2610 164
一招解决数据库中报表查询慢的痛点
|
人工智能 机器人 物联网
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
SpatialVLA 是由上海 AI Lab、中国电信人工智能研究院和上海科技大学等机构共同推出的新型空间具身通用操作模型,基于百万真实数据预训练,赋予机器人强大的3D空间理解能力,支持跨平台泛化控制。
728 7
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
|
机器学习/深度学习 PyTorch 算法框架/工具
【Transformer系列(5)】Transformer代码超详细解读(Pytorch)
【Transformer系列(5)】Transformer代码超详细解读(Pytorch)
2955 1
【Transformer系列(5)】Transformer代码超详细解读(Pytorch)
|
机器学习/深度学习 编解码 自然语言处理
SigLIP 2:多语言语义理解、定位和密集特征的视觉语言编码器
SigLIP 2 是一种改进的多语言视觉-语言编码器系列,通过字幕预训练、自监督学习和在线数据管理优化性能。它在零样本分类、图像-文本检索及视觉表示提取中表现卓越,支持多分辨率处理并保持图像纵横比。模型提供 ViT-B 至 g 四种规格,采用 WebLI 数据集训练,结合 Sigmoid 损失与自蒸馏等技术提升效果。实验表明,SigLIP 2 在密集预测、定位任务及多模态应用中显著优于前代和其他基线模型。
2067 9
SigLIP 2:多语言语义理解、定位和密集特征的视觉语言编码器