SiLU函数
SiLU(Sigmoid Linear Unit)函数,也称为 Swish 函数,是一种常用于深度学习中的激活函数。它是由 Google 的研究人员提出的,旨在解决 ReLU(Rectified Linear Unit)函数的一些缺点,尤其是在深度网络的训练过程中。
【笔记】激活函数SiLU和Swish
激活函数 SiLU 和 Swish 都是 深度学习 中用于神经网络中的非线性激活函数,旨在增强模型的表达能力和训练性能。实际上,SiLU(Sigmoid Linear Unit)和 Swish 本质上是同一个激活函数的两种不同名称。
差分隐私机器学习:通过添加噪声让模型更安全,也更智能
本文探讨在敏感数据上应用差分隐私(DP)进行机器学习的挑战与实践。通过模拟DP-SGD算法,在模型训练中注入噪声以保护个人隐私。实验表明,该方法在保持71%准确率和0.79 AUC的同时,具备良好泛化能力,但也带来少数类预测精度下降的问题。研究强调差分隐私应作为模型设计的核心考量,而非事后补救,并提出在参数调优、扰动策略选择和隐私预算管理等方面的优化路径。
手写中文识别模型复现踩坑日记
最近复现了手写中文识别项目 jjcheer/ocrcn_tf2,使用 TensorFlow 2。过程中踩了不少坑:从 Unicode 解码错误、tfrecord 与 label 不对齐,到最后换 Python 3.8 才解决的环境问题。总结教训:用虚拟环境、按项目配版本、写 requirements.txt、多看 issues。复现不易,且行且珍惜。