数据挖掘 - 平滑/软概率是什么意思？ - 吾爱随笔录

数据挖掘深度学习

2022-02-17 19:39:26

我最近在看Knowledge Distillation论文，遇到了这个词smooth probabilities。该术语用于表示当 logits 除以温度时。

神经网络通常通过使用输出层生成类概率，该输出层将计算每个类softmax的 logit 转换为概率，通过与通常设置为 1 的温度的其他 logit进行比较。使用更高的值类上更软的概率分布。ziqiziTT

直觉上是什么意思？

1个回答

什么时候 $T$ 变大，即

T \to \infty

$T \rightarrow \infty$ 概率分布类似于均匀分布，所以

q_{i} = \frac{1}{n}

$q_i = \frac{1}{n}$ . 你可以在这里找到证明，以及其他一些有趣的属性。

鉴于前面提到的事实，我想他指的是平滑，即如果排除噪音，剩下的就是数据的重要模式，也就是说，正如@Emre 提到的那样，分布变得不那么“尖锐”。

其它你可能感兴趣的问题