施瓦茨准则是如何定义的?

数据挖掘 k-均值
2022-02-13 08:25:50

我目前正在阅读有关k-意味着算法。在分析中,教授写道

最小化 Schwarz 准则:W(C)+λmklogR

W(C)是类内分散。我猜λ是一个权重因子,必须由开发人员选择,并且k是集群的数量。但是什么是m是什么R?

1个回答

另请参阅此 StackExchange 帖子Schwarz 标准或 BIC 非常普遍,所以问题是,“这个公式如何将 BIC 应用于k-方法?”

贝叶斯信息准则(BIC) 的维基百科页面使用 BIC 的以下定义

BIC=2lnL^+κlnn

在哪里:

  • n是#observations
  • κ是#free 参数(我使用希腊语κ区别于你的k)
  • L^是拟合参数后的最大似然

Pelleg 和 Moore (2000) 使用R对于#observations。假设您的教授这样做,这意味着:

  • κ=λmk, # 自由参数。
  • W(C)=2lnL^

那么,什么是λm? 我不知道哪个是哪个,但它必须是这样的:

  • k是集群的数量[如你所说]
  • λ是数据中的维度(列)数
  • m是要为每个维度估计的参数数量(对于通常的高斯为 2:均值和方差)。

这是有道理的W(C),“类内分散”将通过对数似然来衡量。笔记,W(C)必须对所有集群的对数似然求和。