增加参数数量会降低模型过度拟合少量数据的能力,这是否是一个危险信号?

数据挖掘 深度学习 nlp lstm 美国有线电视新闻网 命名实体识别
2021-10-07 19:32:06

我正在为命名实体识别训练一个深度网络(CNN-LSTM-CRF)。是否有理由增加参数数量会使网络无法过拟合小型训练集(约 20 个句子),或者这是否表明代码中存在严重错误?

1个回答

它不一定是危险信号。当然,如果没有看到代码,就不可能肯定地说。

这里可能发生的情况是,向​​模型添加参数会使其更难收敛到某个最小值。更多参数大致意味着您的模型能够解释“更复杂的东西”。而且由于您拥有少量数据,因此解释应该保持相当简单。因此,您的模型试图以复杂的方式解释简单的事情,而这样做可能并不容易。

另外,您使用的是 dropout 还是正则化?如果是,这也可能是一个问题,因为这些是明确使用的,以避免过度拟合。