【新智元导读】宾夕法尼亚大学机器学习Ph.D为您分享AI大佬如何从头开始写顶级论文。
最近完成了一篇很满意的论文，不仅整个过程愉快、回味无穷，而且真正做到了「学术有影响，工业有产出」。我相信这篇文章会改变差分隐私（differential privacy；DP）深度学习的范式。
因为这次经历实在太过「巧」了 （过程充满巧合、结论极其巧妙），在此和同学们分享一下自己从观察 -->构思 -->实证 -->理论 -->大规模实验的完整流程。本文我会尽量保持 lightweight，不涉及过多技术细节。
论文地址：arxiv.org/abs/2206.07136与 paper 展现的顺序不同，paper 有时会刻意将结论放在开头吸引读者，或者先介绍简化后的定理而将完整的定理放附录；而本文我想将我的经历按时间顺序写下（也就是流水账）， 比如把走过的弯路和研究中突发的状况写出来，以供刚踏上科研之路的同学参考。
一、文献阅读
事情的起源是斯坦福的一篇论文，现在已经录了 ICLR：
论文地址：https://arxiv.org/abs/2110.05679文章写的非常好，总结起来有三个主要贡献：1. 在 NLP 任务中，DP 模型的 accuracy 非常高，鼓励了 privacy 在语言模型的应用。（与之相对的是 CV 中 DP 会产生非常大的 accuracy 恶化，比如 CIFAR10 目前 DP 限制下不用预训练只有 80% accuracy，而不考虑 DP 可以轻松达到 95%；ImageNet 当时最好的 DP accuracy 不到 50%。）2. 在语言模型上，模型越大，性能会越好。比如 GPT2 从 4 亿参数到 8 亿参数性能提升很明显，也取得了很多 SOTA。（但是在 CV 和推荐系统中，很多时候更大的模型性能会很差，甚至接近 random guess。比如 CIFAR10 的 DP best accuracy 此前是由四层 CNN 得到的，而非 ResNet。）
NLP 任务中 DP 模型越大性能越好 [Xuechen et al. 2021]3. 在多个任务上取得 SOTA 的超参数是一致的：都是 clipping threshold 要设置的足够小，并且 learning rate 需要大一些。（此前所有文章都是一个任务调一个 clipping threshold，费时费力，并没有出现过像这篇这样一个 clipping threshold=0.1 贯穿所有任务，表现还这么好。）以上总结是我读完 paper 瞬间理解的，其中括号内的内容并非来自这篇 paper，而是以往诸多阅读产生的印象。这有赖于长期的阅读积累和高度的概括能力，才能快速联想和对比出来。事实上，很多同学做文章起步难恰恰就在于看一篇文章只能看到一篇文章的内容，无法和整个领域的知识点形成网络、产生联想。这一方面由于刚入门的同学阅读量不够，尚未掌握足够的知识点。尤其是长期从老师手中拿课题，不自己独立 propose 的同学，容易有这个问题。另一方面则是阅读量虽然够，但没有时时归纳总结，导致信息没有凝聚成知识或者知识没有串联。这里补充下 DP deep learning 的背景知识，暂且略过 DP 的定义，不影响阅读。所谓 DP deep learning 从算法的角度来说其实就是多做两个额外的步骤：per-sample gradient clipping 和 Gaussian noise addition；换句话说，只要你把 gradient 按照这两步处理完了（处理后的 gradient 叫做 private gradient），之后该怎么用优化器就怎么用，SGD/Adam 都可以。至于最后算法到底多 private，就是另一个子领域的问题了，称为 privacy accounting theory。此领域相对成熟而且需要极强的理论功底，由于本文专注于 optimization，按下不表。
g_i 是 一个数据点的梯度（per-sample gradient），R 是 clipping threshold, sigma 是 noise multiplier。
其中 Clip 叫做 clipping function，就跟常规的 gradient clipping 一样，梯度长于 R 就剪到 R，小于 R 就不动。比如 DP 版本的 SGD 就是目前所有 paper 都用的是隐私深度学习开山之作（Abadi, Martin, et al. "Deep learning with differential privacy."）中的 clipping function，也称为 Abadi's clipping：
。但这是完全不必要的，遵循第一性原理，从 privacy accounting theory 出发，其实 clipping function 只需要满足 Clip(g_i)*g_i 的模小于等于 R 就可以了。也就是说，Abadi's clipping 只是一种满足这个条件的函数，但绝非唯一。
二、切入点
一篇文章的闪光点很多，但是并非都能为我所用，要结合自身的需求和擅长去判断最大的贡献是什么。
这篇文章前两个贡献其实非常 empirical，也很难深挖。而最后一个贡献很有意思 我仔细看了看超参数的 ablation study 发现一个原作者没有发现的点：在 clipping threshold 足够小的时候，其实 clipping threshold（也就是 clipping norm C，在上面的公式中和 R 是一个变量）没有作用。
纵向来看 C=0.1，0.4，1.6 对 DP-Adam 没什么区别 [Xuechen et al. 2021]。这引起了我的兴趣，感觉背后一定有什么原理。于是我手写了他们所用的 DP-Adam 来看看为什么，其实这很简单：
如果 R 足够小，clipping 其实等价于 normalization！简单代入 private gradient（1.1），可以将 R 从 clipping 的部分和 noising 的部分分别提出来:
而 Adam 的形式使得 R 会同时出现在梯度和自适应的步长中，分子分母一抵消，R 就没有了，顶会 idea 就有了！
m 和 v 都依赖于梯度，同时用 private 梯度替换即得到 DP-AdamW。就这么简单的代换，就证明了我的第一个定理：在 DP-AdamW 中，足够小的 clipping thresholds 是互相等价的，无需调参。
毫无疑问，这是一个很简明而且很有趣的观察，但这并没有足够的意义，所以我需要思考这个观察在实际中有什么用途。
其实，这意味着 DP 训练减少了一个数量级的调参工作：假设学习率和 R 各调 5 个值（如上图） ，那就要测 25 种组合才能找到最优超参数。现在只需要调学习率 5 种可能就好，调参效率提高了数倍，这是对业界来说极有价值的痛点问题。立意足够高，数学足够简明，一个好的想法已经初具雏形。
