我应该在在线设置中更新我的正则化 L1 和 L2 正则化参数吗？

数据挖掘 正则化 在线学习
2022-03-01 07:24:08

几周以来，我一直致力于在线学习，尤其是使用 Vowpal Wabbit 和逻辑回归。我对在线学习算法和问题的理解还不错，但我对正则化问题无法直截了当。

在标准机器学习问题中，使用验证数据集来调整 L1 和 L2 的正则化参数。但是您如何在在线设置中选择这些正则化参数？您是从一开始就修复它们，还是应该在训练时更新它们？

1个回答

正如您所说的@Alexis，交叉验证是在离线学习中选择模型（或其参数）的标准方法（尤其是在以前的知识不可用时）。对于在线培训，通常会在培训发生的同时对模型参数进行某种（自动）补偿（另一种方法是对某些收集数据进行交叉验证或等效地预先优化您的参数） . 还要检查这个答案以及例如这篇论文（它表明这个问题是一个非常活跃的研究领域）！

其它你可能感兴趣的问题
上一篇主成分分析和异常数据 下一篇Keras VAE 示例损失函数