LeNet-5 与 MNIST
Yann LeCun 发表 LeNet-5 架构和 MNIST 数据集，成为深度学习经典基准。
事件概述
1998年，Yann LeCun、Léon Bottou、Yoshua Bengio 和 Patrick Haffner 发表了里程碑式论文《Gradient-Based Learning Applied to Document Recognition》，系统阐述了 LeNet-5 卷积神经网络架构。LeNet-5 包含卷积层、池化层和全连接层的经典结构，是现代深度 CNN 的原型。同时创建的 MNIST 手写数字数据集包含60,000个训练样本和10,000个测试样本，成为机器学习和深度学习领域使用最广泛的基准数据集。LeNet-5 在银行支票读取等实际应用中取得成功，但当时并未引起广泛关注，直到 AlexNet 在2012年的突破才让人们重新认识到卷积神经网络的潜力。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
在 1990 年代末，文档识别（尤其是银行支票金额识别）仍靠人工设计特征加独立分类器，模块各自优化、整体未必最优。1998 年，Yann LeCun、Léon Bottou、Yoshua Bengio 与 Patrick Haffner 在《Proceedings of the IEEE》发表《Gradient-Based Learning Applied to Document Recognition》，提出 LeNet-5 卷积神经网络，并配套提出用图变换网络（GTN）对整个识别流水线端到端训练。同一工作还整理发布了 MNIST 手写数字基准，成为此后二十年的「机器学习 Hello World」。
核心要点
- 1LeNet-5 是首个端到端训练、可商用的卷积神经网络架构。
- 2由卷积、池化、全连接交替组成，约 6 万参数，证明「以架构注入先验」。
- 3MNIST 由 7 万张手写数字（6 万训练 / 1 万测试）组成，源自 NIST 数据。
- 4LeNet-5 在 MNIST 上取得约 0.95% 的测试错误率。
- 5经 NCR 部署于支票识别，曾读取美国约一至两成支票，是 90 年代最大规模神经网络商用。
原理与技术细节
LeNet-5 是一个约七层的卷积网络：输入 32×32 灰度图，经 C1 卷积（6 个 5×5 滤波器）得到特征图，S2 池化降维，C3 再卷积（16 个滤波器），S4 再池化，C5 卷积压成 120 维，F6 全连接 84 维，最后由 10 个输出神经元对应数字 0—9。与 1989 年工作一脉相承，它复用权值共享、局部感受野与池化，把「平移不变」与「层次化特征」写进结构。论文另一贡献是图变换网络（GTN）：把分割、识别、语言模型等模块都做成可微图，用同一次反向传播对整条流水线联合优化，避免了各模块各自为政导致的次优。整套思想正是现代 CNN 与端到端训练的原型。
影响与后续
LeNet-5 与 MNIST 奠定了现代计算机视觉的方法论：卷积、池化、端到端梯度训练。它们比 AlexNet（2012）早约十五年证明 CNN 可大规模实用，也直接促成 LeCun、Hinton、Bengio 获 2018 年图灵奖。其局限在于当时算力与数据有限，网络很浅、对彩色与杂乱场景无能为力，且缺乏解释力强的理论。这些不足在深度学习时代才被逐步克服。
学习要点
- 卷积 + 池化 + 端到端训练，是视觉深度学习的不变骨架。
- 好的基准数据集（MNIST）本身就能推动整个领域前进。
- 架构即先验：把几何结构写进网络可大幅减少所需数据与参数。
- 一项奠基性工作，其价值常被时代的数据与算力所延迟兑现。
术语表
由 7 万张 28×28 手写数字组成的标准基准数据集，源自 NIST，常用于入门与算法验证。
把识别流水线各模块做成可微图、联合优化的框架，是端到端训练的早期实践。
从原始输入到最终输出用同一目标函数联合优化，而非分模块各自训练。