有哪些方法可以为简单的前馈神经网络执行特征选择?

数据挖掘 机器学习 神经网络 深度学习 特征选择
2022-01-20 09:23:02

在多元线性回归中F-test,可以使用 which 来评估协变量是否对模型产生有意义的影响。这通常通过前向选择或后向选择算法来完成。神经网络也存在这样一个有意义的过程吗?我问的唯一原因是因为使用神经网络是一个固有的随机过程,所以我不知道我应该如何尝试为F-statistic.

2个回答

我通常尝试做以下过程,我不知道它是否有名字:

  • 尝试找到专家可以毫不犹豫地说出标签的特征。
  • 为您的样本绘制相关矩阵,以调查每个特征是否与其他特征相关。每当输入功能太多时,我都会执行此过程。然后尝试减少相关特征或尝试应用PCA考虑一下PCA单独不关心标签的观点,因此它可能会发现您的数据很难分离但不一定要分离的主要成分。

除了@Media 建议的内容之外,您还可以考虑在输入层上方的模型中添加一个 softmax 层。这是一种可视化与每个响应密切相关的特征的方法。当然,正如您所说,F 检验并不合适。据我所知,这是一个活跃的研究领域。