介绍性机器学习概念问题

机器算法验证 回归 机器学习 正则化 超参数
2022-04-07 09:15:25

我刚开始学习机器学习和不同方法背后的概念,我想对这两个概念进行一些澄清。我正在填写一份真实或虚假的讲义,我想知道我的答案是否正确:

  1. 协方差矩阵可以有负值
    • 我认为这是真的,因为协方差可能是负的
  2. `1 正则化不能将参数缩小到零,因此它可以用于特征选择的目的
    • 我不确定这个,但我认为这是真的吗?

此外,我正在尝试识别以下机器学习方法的超参数:

  1. 深度神经网络:
    • 是学习率和层数吗?

我的回答正确吗?

3个回答

`1 正则化不能将参数缩小到零,因此它可以用于特征选择的目的

是的。你可以参考这个答案

深度神经网络

许多其他超参数,如嵌入维度、层维度、输入长度、参数共享、迁移学习中的重用层、早期停止策略、学习率衰减等等。这是一篇好文章

对于超参数,您可以参考 Tensorflow 或sklearn中的 API 。

#2

协方差矩阵的特征值不能小于零,因为它是实数对称矩阵。但是,矩阵本身对正/负/零没有这种限制。

正如您所注意到的,协方差可以小于零。当变量的相关性小于零时,就会发生这种情况。因此,协方差矩阵中可能有小于零的数字。

如果两个变量之间的相关性为零,则零是协方差矩阵中的理论可能性。然而,在实践中,您不会在大多数数据中观察到这一点(参见亨利的评论......分类数据也可能具有零经验相关性)。

回复:L1 正则化,我认为这是一个棘手的问题。结论是正确的,但前提是错误的——L1 正则化可以将参数缩小到零,这就是它可以用于变量选择的原因(任何与零参数相关的特征都会有效地从模型中剔除)。

但是,如您所知,当 X 为假时,“如果 X 则 Y”的暗示为真——也就是说,它是一个空洞的暗示。不知道你的导师有多牛逼。如果您回答“是”,我认为您应该准备好解释原因。我认为“否”的答案会更符合对问题的非正式解释,但同样,你应该准备好解释。