线性回归的典型概率解释是等于,加上高斯噪声随机变量。
然而,在标准逻辑回归中,我们不考虑标签的随机位翻转) 。这是为什么?
线性回归的典型概率解释是等于,加上高斯噪声随机变量。
然而,在标准逻辑回归中,我们不考虑标签的随机位翻转) 。这是为什么?
为了补充斯蒂芬的答案,类似于线性回归中的目标是由一个“系统的”组件产生的,涉及和一个独立的“噪声”组件,在逻辑回归(以及更普遍的 softmax 回归)中,您实际上也可以考虑目标由以下涉及的运算计算得出和一些噪音:
其中和都是遵循分布的独立“噪声”变量;您可以根据需要检查这种方式跟随 Bernoulli 与。
这种从分类(在本例中为伯努利)分布中采样的方式被广泛称为机器学习中的 Gumbel-max 技巧:https ://lips.cs.princeton.edu/the-gumbel-max-trick-for-discrete -distributions/ (基本思想来自重新参数化技巧。还有一个密切相关的 Gumbel-softmax 技巧,它本质上将 Gumbel-max 的上述操作变为可微分)。