Dropout 正则化
Geoffrey Hinton 等人提出 Dropout 技术，有效防止神经网络过拟合。
事件概述
2014年，Geoffrey Hinton、Nitish Srivastava 等人发表了关于 Dropout 的论文。Dropout 是一种简单而有效的正则化技术：在训练过程中随机"丢弃"一部分神经元（将其输出设为零），迫使网络学习更鲁棒的特征表示。这种方法可以看作是对许多子网络的隐式集成。Dropout 成为深度学习中最常用的正则化技术之一，广泛应用于各种神经网络架构，显著提升了模型的泛化能力。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
深度神经网络参数量巨大、表达力强，但一旦训练数据有限就容易过拟合——模型记住噪声而非学到规律。2014 年，多伦多大学的 Nitish Srivastava 与 Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever、Ruslan Salakhutdinov 在 JMLR 发表《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》。其动机是把「训练很多不同网络再平均」这一昂贵但有效的集成思想，近似为在单次训练中自动完成，从而以极低成本显著提升泛化能力。
核心要点
- 1Srivastava 与 Hinton 等人 2014 年提出 Dropout，一种极简的防过拟合正则化。
- 2训练时以概率 p 随机将部分神经元输出置零（屏蔽），迫使网络不依赖特定节点。
- 3可理解为对指数级多个子网络做近似集成，测试时对所有神经元求平均。
- 4它打破神经元间的复杂共适应，使每个神经元都学会独立有用的特征。
- 5常用丢弃率：隐藏层约 0.5，输入层约 0.1–0.2。
- 6在视觉、语音、文档分类等任务上普遍提升性能，成为标准组件。
原理与技术细节
Dropout 的做法很朴素：每次前向传播时，以保留概率 p 随机「丢」掉一部分神经元（把它们的输出置零），反向传播只在保留下来的子网络上更新权重，每个 mini-batch 都采样一个不同的子网络。这等价于在训练时近似了 2ⁿ 个共享权重的子网络集合；测试时让全部神经元参与，并对输出按 p 缩放（或在训练时用「反向 Dropout」预先放大保留神经元）以保持期望值一致，从而近似对这些子网络做集成平均。更深层的作用机制是「减少共适应」：因为邻居随时可能被屏蔽，任一神经元都不能依赖某个特定同伴，被迫学到在多种子网络下都稳健的特征。这一思想还可推广到 DropConnect（随机丢连接）与 Spatial Dropout（整通道丢）等变体。
影响与后续
Dropout 几乎是深度学习中最常用的正则化手段之一，让训练超大网络而不易过拟合成为可能，并在 AlexNet 等里程碑中扮演关键角色。它降低了集成多个大模型的成本，使「大模型 + Dropout」成为常识。局限在于会拖慢单轮收敛（因每次只训练子网络）、对非常小的数据集收益有限，且近年 Batch Normalization、权重衰减等有时可部分替代它。但它作为「用噪声换取鲁棒性」的范式，影响深远。
学习要点
- 过拟合可用「训练时随机丢弃、测试时集成平均」这一极简技巧来缓解。
- Dropout 的本质是近似指数级子网络集成，并以噪声促发鲁棒特征。
- 它是「用算力换取泛化」的典型——训练更慢，但模型更稳。
- 理解共适应，有助于设计更好的正则化与现代归一化方法。
术语表
神经元之间过度依赖彼此、形成脆弱搭配的现象；Dropout 正是为了打破这种依赖。
训练时就把保留神经元输出除以 p 放大，使测试阶段无需额外缩放，便于实现。