过拟合：模型背答案而不是学规律

什么是过拟合

过拟合（overfitting）指模型记住了训练数据的细节和噪声，而不是学到了背后的规律。结果就是：见过的数据答得很准，没见过的数据答得很差。

它不是「模型太笨」，恰恰相反，是模型的表达能力相对于数据的丰富度来说太强了——强到可以把随机噪声也当成规律记下来。

怎么发现它

唯一可靠的方法是留出验证集：训练时切出一部分数据不参与学习，只用来看表现。

这是整个机器学习里最基础的诊断方法，值得牢记。

常见的应对手段

• 加数据：最直接，而且通常最有效。更多真实样本比任何正则化技巧都管用。
• 数据增强：对图像做翻转、裁剪、变色，对文本做同义替换——本质是在不收集新数据的前提下增加多样性。
• 正则化：在损失里加一项惩罚参数的大小，限制模型变得「过于自信」。
• Dropout：训练时随机「关掉」一部分神经元，迫使网络不依赖任何单一路径。
• 早停：在验证集表现开始变差时就停下来——这是最简单也最常用的手段。
• 降低模型规模：减少参数数量或层数。

一个反直觉的事实

在深度学习中，人们发现了一个奇怪的现象：很大的模型在训练数据远多于参数时，往往泛化得更好——这跟「参数越多越容易过拟合」的经典直觉相矛盾。

一个被广泛接受的解释是：在超高维参数空间里，「泛化好的解」其实很多，随机梯度下降的固有偏好会把模型带到其中一类比较「平坦」的解上，而平坦的解对数据扰动更不敏感、泛化更好。这也解释了为什么大模型并不像经典理论预测的那样容易过拟合。

实际中的优先顺序

通常按这个顺序处理：① 先检查数据质量和对齐（标签有没有错）→ ② 加数据 → ③ 数据增强 → ④ 正则化和早停 → ⑤ 才考虑改结构。

很多人一遇到效果不好就去调模型结构，但绝大多数问题的根源在数据和训练设置上。