SiLU函数
SiLU（Sigmoid Linear Unit）函数，也称为 Swish 函数，是一种常用于深度学习中的激活函数。它是由 Google 的研究人员提出的，旨在解决 ReLU（Rectified Linear Unit）函数的一些缺点，尤其是在深度网络的训练过程中。
【笔记】激活函数SiLU和Swish
激活函数 SiLU 和 Swish 都是 深度学习 中用于神经网络中的非线性激活函数，旨在增强模型的表达能力和训练性能。实际上，SiLU（Sigmoid Linear Unit）和 Swish 本质上是同一个激活函数的两种不同名称。
自注意力机制在Transformer中备受瞩目，看似‘主角’，为何FFN却在背后默默扮演关键角色？
本文三桥君深入解析Transformer模型中的前馈全连接层（FFN）机制，揭示其通过两层线性变换和ReLU激活增强模型表达能力的关键作用。文章从输入准备、结构原理到计算过程进行详细阐述，并提供PyTorch实现代码。同时探讨了FFN的优化方向及与自注意力机制的协同效应，为AI从业者提供实践建议。AI专家三桥君结合图文并茂的讲解方式，帮助读者掌握这一影响Transformer性能的核心组件。
AI视觉新突破：多角度理解3D世界的算法原理全解析
多视角条件扩散算法通过多张图片输入生成高质量3D模型，克服了单图建模背面细节缺失的问题。该技术模拟人类多角度观察方式，结合跨视图注意力机制与一致性损失优化，大幅提升几何精度与纹理保真度，成为AI 3D生成的重要突破。