随机森林算法
Leo Breiman 提出随机森林，成为机器学习领域最成功的集成学习方法之一。
事件概述
2001年，统计学家 Leo Breiman 发表了随机森林算法。这是一种集成学习方法，通过构建大量决策树并取其预测的平均值来提高准确性和稳定性。随机森林引入了两个关键创新：对每棵树使用自举采样（bootstrap sampling）的随机子集，以及在每次分裂时随机选择特征子集。这些随机化技术不仅提高了模型的泛化能力，还有效防止了过拟合。随机森林因其简单易用、对超参数不敏感、能够处理高维数据等优点，成为数据科学竞赛和实际应用中最受欢迎的算法之一。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
决策树直观易懂，但单棵树极易过拟合：训练集上近乎完美，换个数据集就大幅退化。1990 年代，Leo Breiman 先后提出 Bagging（对训练集自助重采样、训练多棵树再投票）与 Arcing（自适应重采样组合），并把二者结合，于 2001 年在《Machine Learning》期刊发表论文《Random Forests》，正式命名随机森林。核心洞见是：让每棵树在「数据」与「特征」两个维度上都足够随机且互不相关，集成后的方差才能压到远低于任何单棵树的水平。随机森林随后成为数据科学竞赛与实际应用中最可靠的基线方法之一，直到深度学习时代仍在表格数据领域占据重要地位。
核心要点
- 12001 年由 Leo Breiman 正式提出并命名的集成学习方法。
- 2每棵树用自助采样（bootstrap）获得不同的训练子集。
- 3每次分裂只在随机选取的特征子集中选择最优分裂点。
- 4分类用投票、回归用平均汇总多棵树的预测，显著降低方差。
- 5几乎不用调参、天然抗过拟合，长期是表格数据的最强基线之一。
原理与技术细节
随机森林的数学直觉来自「方差的分解」。设单棵树预测的方差为 σ²，树之间相关性为 ρ，则 M 棵无关树平均后的方差约为 ρσ² + (1−ρ)σ²/M：相关性 ρ 是天花板，树越多、越不相关，方差越低。Bagging 通过自助采样制造数据多样性，把 ρ 降到中等水平；特征随机性进一步让每棵树关注不同特征组合，把 ρ 继续压低。另一个精妙副产品是「袋外估计」：每棵树约有 37% 的样本未被采到，用它们做验证集，无需额外划分交叉验证即可得到泛化误差的无偏估计。森林还天然给出特征重要性：某特征在所有分裂中带来的不纯度下降总量。这一切让它成为「开箱即用」的典范——没有梯度要调，没有架构要设计，却很难被彻底打败。
影响与后续
随机森林把集成学习从理论兴趣变成了工业标准工具：信用评分、故障诊断、特征选择、基因重要性分析等领域都把它作为首选或基线。它深刻影响了后续方法——梯度提升树（XGBoost、LightGBM）在偏差-方差谱系上占据另一端，与随机森林共同统治表格数据至今。它也是可解释 AI 的常用工具：袋外误差、特征重要性、部分依赖图都源自这套框架。局限同样清晰：树模型的归纳偏置不利用特征间平滑结构，在图像、语音、文本等「局部连续」数据上远不如神经网络；预测是分段常数式的，外推能力弱；大森林的存储与推理成本也高于线性模型。
学习要点
- 集成降低方差的前提是成员模型「好而不同」，相关性是方差下降的天花板。
- Bagging 管数据多样性，特征随机管视角多样性，两者叠加才是随机森林。
- 袋外样本是免费得到的验证集， bootstrap 思想可以反复回收利用。
- 没有免费午餐：树模型在表格上强，在连续信号上弱，选型要看数据几何。
术语表
有放回地从原样本抽取等大子集，使每棵树的训练数据既有差异又保持分布近似。
用未被某棵树采到的约 37% 样本评估该树，汇总得到无需交叉验证的泛化误差。
把模型期望误差分解为系统偏差与方差两部分，是理解集成方法为何有效的理论框架。