用于组合数据挖掘因子水平的 R 包？

机器算法验证 r 多类
2022-03-14 07:58:36

想知道是否有人在 R 中遇到过一个包/函数，它将结合一个因子的水平，其在一个因子中所有水平的比例小于某个阈值？具体来说，我进行的数据准备的第一步是将不占总数的至少 2% 的稀疏水平的因素合并在一起（比如说，分解成一个称为“其他”的水平）。这是在无人监督的情况下完成的，当目标是对营销中的某些活动进行建模时（不是欺诈检测，那些非常小的事件可能非常重要）。我正在寻找一种功能，它会折叠水平直到达到某个阈值比例。

更新：

多亏了这些很棒的建议，我很容易编写了一个函数。我确实意识到，虽然可以折叠比例 < 最小值的级别，但重新编码的级别仍然是 < 最小值，需要添加比例 > 最小值的最低级别。可能会更有效，但它似乎有效。下一个增强将是弄清楚如何捕获将折叠逻辑应用于新数据（验证集或未来数据）的“规则”。

collapseFactors<- function(tableName,minPercent=5,fillIn ="RECODED" )
{
    for (i in 1:ncol(tableName))
        {   

            if(is.factor(tableName[,i]) == TRUE) #process just factors
            {


                sortedTable<-sort(prop.table(table(tableName[,i])))
                numberToCollapse<-length(sortedTable[sortedTable<(minPercent/100)])

                if (sum(sortedTable[1:numberToCollapse])<(minPercent/100))
                    {
                        numberToCollapse=numberToCollapse+1 #add next level if < minPercent
                    }

                if(numberToCollapse>1) #if not >1 then nothing to collapse
                {
                    lf <- names(sortedTable[1:numberToCollapse])
                    levels(tableName[,i])[levels(tableName[,i]) %in% lf] <- fillIn
                }
            }#end if a factor


        }#end for loop

    return(tableName)

}#end function
3个回答

似乎这只是“重新平衡”因素的问题；无需计算部分和或复制原始向量。例如，

set.seed(101)
a <- factor(LETTERS[sample(5, 150, replace=TRUE, 
                           prob=c(.1, .15, rep(.75/3,3)))])
p <- 1/5
lf <- names(which(prop.table(table(a)) < p))
levels(a)[levels(a) %in% lf] <- "Other"

在这里，原始因子水平分布如下：

 A  B  C  D  E 
18 23 35 36 38

然后它变成

Other     C     D     E 
   41    35    36    38

它可以方便地包装成一个函数。reshape包中有一个combine_factor()功能，所以我想它也很有用。

此外，由于您似乎对数据挖掘感兴趣，您可能会查看caret包。它具有许多用于数据预处理的有用功能，包括nearZeroVar()允许标记观察值分布非常不平衡的预测变量的功能（例如，参见小插图、示例数据、预处理功能、可视化和其他功能，第 5 页）使用）。

克里斯托弗回答的唯一问题是它会混淆因子的原始顺序。这是我的修复：

 Merge.factors <- function(x, p) {
     t <- table(x)
     levt <- cbind(names(t), names(t)) 
     levt[t/sum(t)<p, 2] <- "Other"
     change.levels(x, levt)
 }

change.levels以下函数在哪里。我前段时间写的，所以我怀疑可能有更好的方法来实现它的功能。

 change.levels <- function(f, levt) {
     ##Change the the names of the factor f levels from
     ##substitution table levt.
     ## In the first column there are the original levels, in
     ## the second column -- the substitutes
     lv <- levels(f)
     if(sum(sort(lv) != sort(levt[, 1]))>0)
     stop ("The names from substitution table does not match given level names")
     res <- rep(NA, length(f))

     for(i in lv) {
          res[f==i] <- as.character(levt[levt[, 1]==i, 2])
     }
     factor(res)
}

我写了一个快速函数来实现这个目标。我是新手 R 用户，因此使用大表可能会很慢。

Merge.factors <- function(x, p) { 
    #Combines factor levels in x that are less than a specified proportion, p.
    t <- table(x)
    y <- subset(t, prop.table(t) < p)
    z <- subset(t, prop.table(t) >= p)
    other <- rep("Other", sum(y))
    new.table <- c(z, table(other))
    new.x <- as.factor(rep(names(new.table), new.table))
    return(new.x)
}

作为它的一个例子：

> a <- rep("a", 100)
> b <- rep("b", 1000)
> c <- rep("c", 1000)
> d <- rep("d", 1000)
> e <- rep("e", 400)
> f <- rep("f", 100)
> x <- factor(c(a, b, c, d, e, f))
> summary(x)
   a    b    c    d    e    f 
 100 1000 1000 1000  400  100 
> prop.table(table(x))
x
         a          b          c          d          e          f 
0.02777778 0.27777778 0.27777778 0.27777778 0.11111111 0.02777778 
> 
> w <- Merge.factors(x, .05)
> summary(w)
    b     c     d     e Other 
 1000  1000  1000   400   200 
> class(w)
[1] "factor"
其它你可能感兴趣的问题
上一篇三次回归样条的结选择 下一篇平均 SVM 和 GLM 结果：明智还是愚蠢？