我正在关注 Andrew Ng 的机器学习课程，但我不太明白以下内容。
使用 PCA 加速学习
使用 PCA 减少特征数量，从而降低过度拟合的机会
分开来看这两个，它们是完全有道理的。但实际上，我怎么知道，当我的意图是加快学习速度时，我不会让模型过拟合？
在应用 PCA 时，我是否必须在这两种情况之间找到中间立场？如果是这样，我该怎么做？
当使用 PCA 对特征向量进行降维以加快学习速度时，我怎么知道我没有让模型过拟合？
人工智能
机器学习
训练
过拟合
主成分分析
降维
2021-11-15 19:01:15
1个回答
我不确定我是否正确理解了您的问题，但无论如何这是我的看法。
因此，PCA 是一种可以应用于数据以减少特征数量的技术。作为回报，（i）这可以加速训练，因为可以进行计算的特征更少，（ii）并且可以防止过度拟合，因为您会丢失一些数据信息。
为了检测过拟合，您通常会在训练期间监控验证和训练损失。如果您的训练损失减少，但您的验证损失保持不变或增加，则您的模型可能对训练数据过度拟合。在实践中，这意味着您的模型泛化能力较差，您可以通过测量测试准确度来观察这一点。
总而言之，你可以应用 PCA，训练一个新模型，并测量你的模型的测试准确率，看看 PCA 是否成功地防止了过拟合。如果没有，您可以使用其他正则化技术（例如权重衰减等）重新训练。
编辑后放置幻灯片
基本上，幻灯片声称，与使用标准正则化方法相比，PCA 可能是防止过拟合的不好方法。要实际查看是否是这种情况，标准方法是测量模型在验证数据集上的性能。因此，如果 PCA 丢弃了大量信息，从而导致您的模型欠拟合，那么与使用标准正则化技术相比，您的验证准确性应该会很差。