集成方法中的几何和谐波均值

数据挖掘 机器学习 统计数据 集成建模 合奏 集成学习
2021-10-05 17:06:58

当使用集成方法进行回归时,一种常见的方法是对弱学习器的输出进行平均(使用算术平均值)以获得集成的输出。人们取的平均值是算术平均值有什么原因吗?为什么不执行几何或调和平均?

1个回答

我们可以通过探索几个子问题来回答这个首要问题:

流行的平均公式有什么特点?

几何的:     (一世=1ñX一世)1ñ

我们可以看到任何包含零的集合的几何平均值为零。

此外,处理负数也很尴尬,因为它们可能会变成虚数。即使负数不会导致假想的平均值(例如,集合有奇数个元素),结果通常也不是我们期望的“平均值”。例如,给定一个集合,让我们取一些平均值:

{-1,2,4}

算术平均值: 1.6¯

几何平均数: -2

几何平均值显然不是我们所期望的“平均值”。这是因为几何平均值主要用于理解集合中的乘法差异,这对于在不同尺度上平均数据很有用。

假设我们只考虑元素的绝对值。然后,给定下面的一组,我们仍然会得到不希望的结果:

{20,21,...210}

算术平均值: 186.09¯

几何平均数: 32

从这个例子中我们可以看到,算术平均值是线性的,几何平均值是对数的。


谐波:     ñ(一世=1ñX一世-1)-1

与几何平均数一样,包含零的集合的调和平均数是没有信息的。事实上,它是未定义的。

调和平均值的一个更有趣的特性是它可以区分异常值。例如,给定一个集合,让我们再次取一些平均值:

{1e-5,1e-5,1e10}

算术平均值: 3.3¯e9

谐波平均值: 1.5e-5


考虑平均值的一种更简单的方法是:

算术是线性的,几何是对数的,谐波是倒数的。


每个学习者在最终投票中是否应该有平等的代表?

如果您使用算术平均值,则弱学习者会受到同等对待。这通常是需要的,因为您不知道哪个学习者更接近正确答案。使用几何或调和平均值意味着您要根据弱学习器输出的各自加性结构“加权”它们。

作为旁注,您可以(并且可能应该)使用机器学习算法(例如 MLP 或 SVM)来组合您的集成的输出,这可能会产生比简单平均更好的结果。