SiLU函数
SiLU（Sigmoid Linear Unit）函数，也称为 Swish 函数，是一种常用于深度学习中的激活函数。它是由 Google 的研究人员提出的，旨在解决 ReLU（Rectified Linear Unit）函数的一些缺点，尤其是在深度网络的训练过程中。
【笔记】激活函数SiLU和Swish
激活函数 SiLU 和 Swish 都是 深度学习 中用于神经网络中的非线性激活函数，旨在增强模型的表达能力和训练性能。实际上，SiLU（Sigmoid Linear Unit）和 Swish 本质上是同一个激活函数的两种不同名称。
差分隐私机器学习：通过添加噪声让模型更安全，也更智能
本文探讨在敏感数据上应用差分隐私（DP）进行机器学习的挑战与实践。通过模拟DP-SGD算法，在模型训练中注入噪声以保护个人隐私。实验表明，该方法在保持71%准确率和0.79 AUC的同时，具备良好泛化能力，但也带来少数类预测精度下降的问题。研究强调差分隐私应作为模型设计的核心考量，而非事后补救，并提出在参数调优、扰动策略选择和隐私预算管理等方面的优化路径。