机器算法验证 - 使用 R 中的 stats 包进行 kmeans 聚类 - 吾爱随笔录

使用 R 中的 stats 包进行 kmeans 聚类

机器算法验证 r 聚类

2022-03-13 19:11:03

我很难理解集群包的一两个方面。我正在密切关注Quick-R的示例，但不了解分析的一两个方面。我已经包含了我用于这个特定示例的代码。

## Libraries
library(stats)
library(fpc) 

## Data
mydata = structure(list(a = c(461.4210925, 1549.524107, 936.42856, 0, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 131.4349206, 0, 762.6110846, 
3837.850406), b = c(19578.64174, 2233.308842, 4714.514274, 0, 
2760.510002, 1225.392118, 3706.428246, 2693.353714, 2674.126613, 
592.7384164, 1820.976961, 1318.654162, 1075.854792, 1211.248996, 
1851.363623, 3245.540062, 1711.817955, 2127.285272, 2186.671242
), c = c(1101.899095, 3.166506463, 0, 0, 0, 1130.890295, 0, 654.5054857, 
100.9491289, 0, 0, 0, 0, 0, 789.091922, 0, 0, 0, 0), d = c(33184.53871, 
11777.47447, 15961.71874, 10951.32402, 12840.14983, 13305.26424, 
12193.16597, 14873.26461, 11129.10269, 11642.93146, 9684.238583, 
15946.48195, 11025.08607, 11686.32213, 10608.82649, 8635.844964, 
10837.96219, 10772.53223, 14844.76478), e = c(13252.50358, 2509.5037, 
1418.364947, 2217.952853, 166.92007, 3585.488983, 1776.410835, 
3445.14319, 1675.722506, 1902.396338, 945.5376228, 1205.456943, 
2048.880329, 2883.497101, 1253.020175, 1507.442736, 0, 1686.548559, 
5662.704559), f = c(44.24828759, 0, 485.9617601, 372.108855, 
0, 509.4916263, 0, 0, 0, 212.9541122, 80.62920455, 0, 0, 30.16525587, 
135.0501384, 68.38023073, 0, 21.9317122, 65.09052886), g = c(415.8909649, 
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 637.2629479, 0, 0, 
0), h = c(583.2213618, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 
0, 0, 0, 0, 0), i = c(68206.47387, 18072.97762, 23516.98828, 
13541.38572, 15767.5799, 19756.52726, 17676.00505, 21666.267, 
15579.90094, 14351.02033, 12531.38237, 18470.59306, 14149.82119, 
15811.23348, 14637.35235, 13588.64291, 12549.78014, 15370.90886, 
26597.08152)), .Names = c("a", "b", "c", "d", "e", "f", "g", 
"h", "i"), row.names = c(NA, -19L), class = "data.frame")

然后我标准化变量：

# standardize variables
mydata <- scale(mydata) 

## K-means Clustering 

# Determine number of clusters
wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) wss[i] <- sum(kmeans(mydata, centers=i)$withinss)
# Q1
plot(1:15, wss, type="b", xlab="Number of Clusters",  ylab="Within groups sum of squares") 

# K-Means Cluster Analysis
fit <- kmeans(mydata, 3) # number of values in cluster solution

# get cluster means 
aggregate(mydata,by=list(fit$cluster),FUN=mean)

# append cluster assignment
mydata <- data.frame(mydata, cluster = fit$cluster)

# Cluster Plot against 1st 2 principal components - vary parameters for most readable graph
clusplot(mydata, fit$cluster, color=TRUE, shade=TRUE, labels=0, lines=0) # Q2

# Centroid Plot against 1st 2 discriminant functions
plotcluster(mydata, fit$cluster)

我的问题是，显示集群数量（Q1在我的代码中标记）的图如何与实际值（集群编号和变量名称）相关联？

更新：我现在明白该clusplot()函数是一个双变量图，具有 PCA1 和 PCA2。但是，我不了解 PCA 组件和集群组之间的联系。PCA 值与聚类组之间的关系是什么？我在其他地方读到过关于 kmeans 和 PCA 之间的联系，但我仍然不明白它们如何显示在同一个双变量图上。

1个回答

我没有完全掌握问题 1，但我会尝试回答。Q1 的图显示了内平方和 (wss) 如何随着簇数的变化而变化。在这种图中，您必须在图中寻找扭结，5 处的扭结表示使用 5 个集群是个好主意。

WSS 在以下意义上与您的变量有关系，WSS 的公式是

$\sum_{j} \sum_{x_i \in C_j} ||x_i - \mu_j||^2$

其中是集群的平均点，是第个观察值。我们将集群 j 表示为。WSS 有时被解释为“每个集群内的点有多相似”。这种相似性是指变量。 $\mu_j$ $j$ $x_i$ $i$ $C_j$

问题2的答案是这样的。您实际上正在观看的 clusplot()是您在主平面上的观察图。这个函数正在做的是计算每个观察值的主成分分数，绘制这些分数并按集群着色。

主成分分析（PCA）是一种降维技术；它将所有变量的信息“汇总”为几个称为组件的“新”变量。每个组件负责解释总可变性的一定百分比。在示例中，您阅读“这两个组件解释了总可变性的 73.95%”。

该函数clusplot()用于识别聚类的有效性。如果你有一个成功的集群，你会看到集群在主平面上被清楚地分开。另一方面，当聚类不成功时，您将看到在主平面中合并的聚类。

有关主成分分析的进一步参考，您可以阅读 wiki。如果你想要一本书，我推荐 Izenmann 的 Modern Multivariate Techniques，在那里你会找到 PCA 和 k-means。

希望这可以帮助：）

其它你可能感兴趣的问题

上一篇是否可以使用内核 PCA 进行特征选择？下一篇如何处理混杂变量？