机器算法验证 - 二项式分布的共轭先验 - 吾爱随笔录

每周，我的 $m-1$ 我和朋友们参加了一个酒吧测验 $n$ 可用积分。在任何给定的一周里，只有我们中的一些人在那里。记录成员的存在/缺席 $i$ 一周内 $t$ 在矩阵中 $x_{ti}$ .

我想建立一个预测模型来预测我们在任何一周内获得的分数，这取决于谁在那里。一个简单的模型是假设每个问题都同样难，并且该玩家 $i$ 有概率 $p_i$ 知道任何问题。那么我们得到一个给定问题正确的概率是

q (x, p) = 1 - \prod_{i = 1}^{m} (1 - p_{i})^{x_{i}}

$q({\bf x},{\bf p}) = 1 - \prod_{i=1}^m(1-p_i)^{x_i}$

因此，我们得分的概率 $k$ 点是

P (S c o r e = k | x, p) = (\binom{n}{k}) q^{k} (1 - q)^{n - k}

$P({\rm Score} = k|{\bf x},{\bf p}) = {n\choose k}q^k(1-q)^{n-k}$

和的对数似然是 ${\bf p}$ ${\bf x}$

L = \log (\binom{n}{k}) + k \log q + (n - k) \log (1 - q)

$L = \log {n\choose k} + k\log q + (n-k)\log(1-q)$

我可以编写一个最大化此数值的例程，以找到的最大似然估计量。然而，由此产生的估计严重地过度拟合数据（可以通过交叉验证检测到）。 $\bf p$

中引入一个惩罚（正则化）项，它惩罚大概率或小概率。据我了解，这相当于对有先验。但是，我不知道这个先验应该是什么形式。惩罚项的两个简单选择是： $L$ $\bf p$

‖ p - 1 / 2 ‖^{2}

$\| {\bf p} - 1/2\|^2$

和

- \sum_{i} \log (\frac{p_{i}}{1 - p_{i}})

$-\sum_i\log \left( \frac{p_i}{1-p_i}\right)$

但这些都是非常临时的。我很想知道一个合适的先验共轭是什么（假设一个甚至存在）。有什么提示吗？