因式分解机 - 防止过拟合

数据挖掘 机器学习 推荐系统 过拟合 矩阵分解
2021-10-08 11:05:21

我最近在一次采访中被问到这个问题,我想知道答案是什么——“使用二阶交互时,因子分解机如何解决过拟合问题?”

2个回答

以下是原始论文的一些摘录,我认为这些摘录是理解这个问题的关键:

  • FM 不是为每个交互使用自己的模型参数,而是通过分解交互来对交互进行建模。我们稍后会看到,这是允许在稀疏性下对高阶交互进行高质量参数估计的关键点。

  • 即使在这些设置(稀疏数据)中,分解机器也可以很好地估计交互,因为它们通过分解交互参数来破坏交互参数的独立性。一般来说,这意味着一个交互的数据也有助于估计相关交互的参数。

换句话说,它不是为每个二阶交互拟合一个独立的参数,而是对参数进行因式分解,从而减少了参数空间和模型复杂度,从而使模型不易过拟合。

希望这有助于理解问题的某些方面。

原论文中没有提到,可以在模型中加入 L2 正则化。L2-reg 也可以添加到一阶权重和二阶权重中。当您没有足够的数据时,您还可以限制二阶排名。