过拟合和欠拟合

方差

方差(Variance)

定义: 方差描述了模型对于训练数据的微小变化的敏感程度。如果一个模型对训练数据的微小变化反应很大,那么这个模型的方差就比较高。

高方差意味着模型过于依赖训练数据中的噪声或者细节,会导致模型过拟合(overfitting)。高方差模型在训练数据上表现良好,但在新的数据上表现不佳,因为它"记住"了训练数据中的噪声和不相关的细节。

低方差意味着模型对训练数据的变化不那么敏感,但这可能会导致欠拟合(underfitting)的问题。

偏差(Bias)

定义: 偏差描述了模型的预测值与真实值之间的差异。如果一个模型的偏差很高,那么它的预测就与真实值存在较大的误差。

高偏差意味着模型过于简单,无法很好地捕捉数据中的重要模式和规律。高偏差模型会导致欠拟合问题。

低偏差意味着模型有足够的能力来学习数据中的重要模式,但也可能导致过拟合。

理想情况下,我们希望模型具有低方差和低偏差,这样它就能很好地捕捉数据中的重要模式,同时又不会过度依赖训练数据中的噪声和细节。

换句话说

高偏差（High Bias）: 当一个模型具有高偏差时，意味着它无法很好地捕捉数据的基本关系，对训练数据进行了过于简化的假设。这种情况下，模型既不能在训练集上表现良好，也不能在未见过的数据上做出准确的预测，导致欠拟合。换句话说，模型太简单，没有足够的参数或者复杂度来学习数据的结构。

高方差（High Variance）: 当一个模型具有高方差时，意味着它对训练数据的噪声过度敏感，学习到了数据中的随机波动而非潜在的模式。这导致模型在训练数据上表现很好，但在新的、未见过的数据上表现不佳，即过拟合。换句话说，模型太复杂，学习了太多训练数据中的细节和噪声，无法泛化到新数据上。

在训练深度学习模型时,我们需要权衡方差和偏差。如果一个模型的方差太高,就意味着它过于依赖训练数据,我们需要采取正则化(regularization)等技术来降低方差。如果一个模型的偏差太高,就意味着它太过简单,我们需要增加模型的复杂度(如增加层数或神经元数量)来降低偏差。

通过分析训练集错误率和验证集错误率,我们可以判断模型是过拟合(高方差)还是欠拟合(高偏差),从而相应地调整模型。最终目标是使模型具有较低的方差和偏差,达到较低的训练集错误率和验证集错误率。

解决高偏差通常需要使模型更加复杂（例如，增加模型参数，使用更复杂的模型结构），而解决高方差通常需要简化模型（例如，减少模型参数，使用正则化技术），或者增加更多的训练数据来帮助模型更好地泛化。