我正在为命名实体识别训练一个深度网络(CNN-LSTM-CRF)。是否有理由增加参数数量会使网络无法过拟合小型训练集(约 20 个句子),或者这是否表明代码中存在严重错误?
增加参数数量会降低模型过度拟合少量数据的能力,这是否是一个危险信号?
数据挖掘
深度学习
nlp
lstm
美国有线电视新闻网
命名实体识别
2021-10-07 19:32:06
1个回答
它不一定是危险信号。当然,如果没有看到代码,就不可能肯定地说。
这里可能发生的情况是,向模型添加参数会使其更难收敛到某个最小值。更多参数大致意味着您的模型能够解释“更复杂的东西”。而且由于您拥有少量数据,因此解释应该保持相当简单。因此,您的模型试图以复杂的方式解释简单的事情,而这样做可能并不容易。
另外,您使用的是 dropout 还是正则化?如果是,这也可能是一个问题,因为这些是明确使用的,以避免过度拟合。
其它你可能感兴趣的问题