在我们人类的理解中,似乎有些东西在直觉上难以理解方差的概念。在狭义上,答案是立竿见影的:平方使我们脱离了我们的反身理解。但是,只是差异带来了问题,还是数据传播的整个想法?我们在范围内寻求庇护,或者只是说明最小值和最大值,但我们只是在避免真正的困难吗?在平均值(众数或中位数)中,我们找到了中心,总结……简化;差异会传播事物并使他们感到不舒服。原始人肯定会通过对祈祷进行三角测量来利用平均值来猎杀动物,但我想是很久以后我们才觉得有必要量化事物的传播。事实上,早在 1918 年,罗纳德·费舍尔(Ronald Fisher)在“孟德尔遗传假设上的亲属之间的相关性”一文中首次引入了方差这个术语。
大多数关注新闻的人都会听说拉里萨默斯关于性别数学能力的不幸演讲的故事,这可能与他离开哈佛有关。简而言之,他建议男性与女性相比,数学能力的分布存在更广泛的差异,尽管两性享有相同的平均值。无论适当性或政治含义如何,这似乎在科学文献中得到证实。
更重要的是,也许普通民众对气候变化等问题的理解——请原谅我提出可能导致完全没有必要讨论的话题——可以通过提高对方差概念的熟悉程度来帮助。
当我们试图掌握协方差时,问题变得更加复杂,如本文所示, @whuber在这里提供了一个很棒的、丰富多彩的答案。
认为这个问题太笼统可能很诱人,但很明显,我们是在间接讨论它,就像在这篇文章中一样,数学是微不足道的,但这个概念仍然难以捉摸,掩盖了对范围作为更舒适的接受反对更细微的想法差异。
在费舍尔写给 EBFord 的一封信中,提到了他对孟德尔实验的怀疑引起的争议,我们读到:“现在,当数据被伪造时,我非常清楚人们普遍低估了大概率偏差的频率,因此趋势总是让他们与预期非常吻合……[孟德尔数据中的]偏差非常小。” 伟大的 RA 费舍尔非常热衷于怀疑小样本中的微小差异,以至于他写道:“孟德尔仍然有可能被某个非常了解预期结果的助手欺骗了。”
这种对低估或误解传播的偏见完全有可能在今天仍然存在。如果是这样,有什么解释为什么我们更喜欢中心性概念而不是分散性?我们能做些什么来内化这个想法吗?
一些概念我们在一瞬间“看到”,然后我们没有,但我们接受它们并继续前进。例如或,但我们甚至不需要知道这些身份就可以在日常生活中做出决定。方差也不一样。那么,不应该更直观吗?
纳西姆·塔勒布 (Nassim Taleb) 将他(嗯,真的是Benoit Mandelbrot 的)对方差的错误理解的理解应用于利用危机时期,并试图通过诸如“方差的方差在认识论上是, 衡量对中值知识缺乏了解的一种衡量标准”——是的,这嘴里有更多的背景……值得称赞的是,他还通过感恩节火鸡的想法让它变得更简单。有人可能会争辩说,投资的关键是理解方差(和协方差)。
那么为什么会这么滑,如何补救呢?没有公式......只是多年处理不确定性的直觉......我不知道答案,但它不是数学的(必然是):例如,我想知道峰度的想法是否会干扰方差。在下图中,我们有两个重叠的直方图,方差几乎相同;然而,我的下意识反应是尾巴最长的那个,最高的峰(更高的峰度)更“分散”: