机器算法验证 - X-mean算法BIC计算题 - 吾爱随笔录 - 问答

X-mean算法BIC计算题

机器算法验证 k-均值比克

2022-04-16 20:52:09

我无法理解本文中与 BIC 计算相关的一些公式（ Dan Pelleg 和 Andrew Moore，X-means：Extended K-means with Efficient Estimation of the Clusters）。

首先是方差方程：

R - 点数
K - 簇数
$\mu_i$ - 与第 i 个点相关的质心。
$\sigma^2 = \frac{1}{R-K}\sum_{i}(x_i - \mu_{(i)})^2$

对数可能性然后使用这个 sigma。我读对了吗，他们对所有集群都使用了 1 个协方差矩阵（参见下面的引用，它们是）？这是没有意义的。如果你有 5 个集群，根据 k-means 算法，每个集群都是高斯的。那么为每个集群计算协方差并使用它是否有意义？ $\sigma^2_i$

我的第二个问题是关于 BIC 分数中使用的参数数量。论文提到

自由参数的数量只是 K-1 类概率、M*K 质心坐标和一个方差估计的总和。 $p_j$

您如何获得 K-1 班级的概率？我可以做我类中的点数/总点数。但接下来是 K-1，总和中遗漏了哪个概率？

PS如果有人有更好的关于使用类似方法估计k的论文，我也想阅读。在这一点上，我不太关心速度。

谢谢你的帮助。

1个回答

让集群由中有个点。让（下标周围没有括号）指定集群的平均值。然后，因为根据定义是所属集群的平均值，我们可以按集群对总和中的项进行分组： $j = 1, \ldots, K$ $K_j \gt 0$ $j$ $\mu_j$ $j$ $\mu_{(i)}$ $x_i$

\begin{aligned} σ^{2} & = \frac{1}{R - K} \sum_{i} (x_{i} - μ_{(i)})^{2} \\ = \frac{1}{R - K} \sum_{j = 1}^{K} \sum_{k = 1}^{K_{j}} (x_{k} - μ_{j})^{2} \\ = \frac{1}{R - K} \sum_{j = 1}^{K} K_{j} \frac{1}{K_{j}} \sum_{k = 1}^{K_{j}} (x_{k} - μ_{j})^{2} \\ = \frac{1}{R - K} \sum_{j = 1}^{K} K_{j} σ_{j}^{2} \end{aligned},

$\eqalign{ \sigma^2 &= \frac{1}{R-K}\sum_{i}(x_i - \mu_{(i)})^2 \\ &= \frac{1}{R-K}\sum_{j=1}^K\sum_{k=1}^{K_j}(x_k - \mu_j)^2 \\ &= \frac{1}{R-K}\sum_{j=1}^K K_j \frac{1}{K_j}\sum_{k=1}^{K_j}(x_k - \mu_j)^2 \\ &= \frac{1}{R-K}\sum_{j=1}^K K_j \sigma_j^2 },$

其中是集群内的方差（我们必须在分母中使用而不是来处理单例集群）。我相信这是你所期待的。 $\sigma_j^2$ $j$ $K_j$ $K_j-1$

其它你可能感兴趣的问题

上一篇如何简化拉伸指数拟合？下一篇在不假设误差项的正态分布时解释 t 值