AlexNet：深度学习突破
AlexNet在ImageNet竞赛中以大幅优势夺冠，标志着深度学习时代的开始。
事件概述
2012年，Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton设计的AlexNet在ImageNet大规模视觉识别挑战赛(ILSVRC)中以显著优势夺冠。这个深度卷积神经网络将top-5错误率从26%降低到15.3%，震惊了计算机视觉领域。AlexNet的成功证明了深层神经网络在海量数据和GPU计算能力支持下的巨大潜力，开启了现代深度学习的黄金时代。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2012 年之前，图像分类由「手工特征（如 SIFT）+ 支持向量机」主导，深度学习虽在理论上成立却缺乏一场决定性的胜利。同年 9 月 30 日，多伦多大学的 Alex Krizhevsky、Ilya Sutskever 与导师 Geoffrey Hinton 以团队 SuperVision 提交 AlexNet 参加 ILSVRC 2012。它在一个恰好的时间点上汇聚了三股力量：ImageNet 的千万级标注数据、NVIDIA GPU（CUDA）的并行算力、以及 ReLU 与 Dropout 等算法改进。AlexNet 以 15.3% 的 Top-5 错误率夺冠，比第二名（26.2%）低逾 10 个百分点，震惊业界，被视为现代深度学习在计算机视觉爆发的起点。
核心要点
- 1AlexNet 由 Krizhevsky、Sutskever、Hinton 提出，夺得 ILSVRC 2012 冠军。
- 28 层网络（5 卷积 + 3 全连接），约 6000 万参数、65 万个神经元。
- 3用两块 NVIDIA GTX 580 GPU 训练约 5–6 天，奠定 GPU 训练范式。
- 415.3% Top-5 错误率，比第二名低逾 10 个百分点，结果具有压倒性。
- 5核心创新：ReLU 激活、Dropout 正则、数据增强与局部响应归一化。
- 6它结束了「深度网络能否胜过手工特征」的争论，开启 CV 深度学习时代。
原理与技术细节
AlexNet 是一个深层卷积神经网络：输入 224×224 的彩色图，经 5 个卷积层（部分后接最大池化）提取层次化特征，再由 3 个全连接层输出 1000 类的 Softmax 概率。它之所以成功，不在于架构多新奇（本质上仍是 LeNet 的放大版），而在于三个要素的合流。其一，ReLU 激活函数取代 Sigmoid/Tanh，计算更快且不易饱和，让梯度在深层中顺畅流动；其二，在全连接层使用 Dropout（丢弃概率 0.5）随机屏蔽神经元，强制网络不依赖特定节点，显著缓解过拟合；其三，GPU 并行使 90 个 epoch 的训练在数天内完成——由于单卡显存（3GB）放不下，网络被拆分到两块 GPU 上分别训练再合并。配合裁剪、水平翻转等数据增强，AlexNet 用「端到端从原始像素学特征」击败了传统流水线。
影响与后续
AlexNet 的胜利是分水岭：此后深度卷积网络迅速成为计算机视觉的默认方法，并直接催生 ZFNet、VGG、GoogLeNet、ResNet 等架构，延伸到语音识别、医学影像、自动驾驶等。它让工业界与学术界全力投入深度学习，并验证了「数据 + 算力 + 算法」协同的威力。局限在于模型参数量大、对单卡显存不友好、依赖大量数据增强与精调；但它留下的 ReLU、Dropout、GPU 训练与数据增强，至今仍是深度学习的基本功。
学习要点
- 一次压倒性的基准胜利，比无数理论争论更能改变一个领域的方向。
- 深度学习的突破往往是数据、算力、算法三要素同时成熟的结果。
- ReLU 与 Dropout 等「小而关键」的技巧，常常决定训练能否成功。
- GPU 训练从 AlexNet 起成为深度学习的事实标准。
术语表
修正线性单元，输出为 max(0, x)，计算简单且缓解饱和，使深层网络训练更快更稳定。
训练时以一定概率随机丢弃神经元，近似集成多个子网络，是防止过拟合的有效正则化手段。