相关性和因果关系之间的区别在多大程度上与 Google 相关?

机器算法验证 机器学习 因果关系
2022-01-30 02:53:38

语境

该网站上的一个热门问题是“什么是常见的统计错误? ”。提到的罪过之一是假设“相关性意味着因果关系......”链接

然后,在有 5 个赞的评论中建议:“谷歌一年赚 65B 美元,而不关心差异。”

冒着过度分析一句俏皮话的风险,我认为这可能是一个有用的讨论点,可以充实相关性和因果关系之间的区别以及区别的实际相关性;也许它可以突出机器学习之间的关系以及相关性和因果关系之间的区别。

我假设评论是针对搜索引擎结果生成和广告显示相关技术的基础技术。

问题

  • 相关性和因果关系之间的区别在多大程度上与 Google 的创收相关,或许特别关注通过广告展示相关技术和优质搜索结果创收?
4个回答

简单的答案是谷歌(或任何人)应该在他们打算干预的程度上关心这种区别。因果知识告诉你干预(行动)在给定领域的影响。

例如,如果 Google 希望提高广告的点击率,增加 GMail 或 Google+ 的用户数量,或者诱导用户使用 Google 而不是 Bing,那么他们需要了解潜在行为的影响(例如,增加广告的字体大小,在印刷杂志上宣传 Google+,或者分别宣传 Google 和 Bing 搜索结果之间的差异)。相关性足以让 Google 的搜索引擎运行良好,但对于他们的其他系统(以及他们的整体业务)来说,这种区别通常很重要。

值得注意的是,谷歌(以及许多拥有网络业务的公司)一直在进行在线实验。这是识别和估计因果依赖关系的最简单和最好的方法。

首先,这只是一句俏皮话,是不正确的。谷歌有很多非常有才华的统计学家、信息检索专家、语言学家、经济学家、一些心理学家等等。这些人花了很多时间教育很多非统计学家关于相关性和因果关系之间的区别。鉴于它是一个大型组织,可能存在无知的口袋,甚至是大口袋,但这种说法绝对是错误的。此外,许多教育面向客户,尤其是广告商。

更深层次的答案:差异非常重要。只看搜索结果排名,让我超越“相关性”,包括相似性、评分函数等的度量。一些页面被测量为某些查询的良好结果。这些具有各种对其排名很重要的预测特征。与这些对查询有很好结果的好页面形成对比的是一组网页,这些页面对于相同的查询结果很差。然而,这些页面的创建者花费了大量的精力来使它们从数字的角度看起来像是好的页面,例如文本匹配、互联网链接等。然而,仅仅因为这些页面在数字上与好页面“相似”并不意味着这些页面实际上就是好页面。因此,Google 已经投入并将继续投入大量精力来确定哪些合理的特征可以区分(分离)好页面和坏页面。

这不是完全相关和因果关系,但比这更深。某些查询的好页面可能会映射到一个数字空间,在该空间中它们看起来与许多不相关或坏页面相似且不同,但仅仅因为结果位于特征空间的同一区域并不意味着它们来自相同的“高质量”子集的网络。

更简单的答案:一个非常简单的观点是解决结果的排名问题。最好的结果应该是第一,但仅仅因为某件事排名第一并不意味着它是最好的结果。通过一些评分指标,您可能会发现 Google 的排名与质量评估的黄金标准相关,但这并不意味着他们的排名意味着结果在质量和相关性方面确实如此。

更新(第三个答案):随着时间的推移,还有一个方面会影响我们所有人:就是谷歌的最高结果可能被认为是权威的,因为它是谷歌上的最高结果。尽管链接分析(例如“PageRank” - 链接分析的一种方法)是一种反映感知权威性的尝试,但随着时间的推移,某个主题的新页面可能会通过链接到 Google 上的顶级结果来简单地加强该链接结构。相对于第一个结果,更具权威性的较新页面存在领先问题。由于谷歌想要提供目前最相关的页面由于相关性对感知因果关系的隐含影响,出现了多种因素,包括所谓的“富人越富”现象。

更新(第四个答案):我意识到(对于下面的评论)阅读柏拉图的洞穴寓言可能很有用,以了解如何解释现实的“反射/投影”导致的相关性和因果关系以及如何我们(或我们的机器)感知它。严格限于皮尔逊相关性的相关性,作为对误解关联(不仅仅是相关性)和因果关系问题的解释过于有限。

幽默的作者在这里。

该评论的部分灵感来自 David Mease(在 Google)的一次演讲,他说,我解释说,汽车保险公司不在乎男性是否会导致更多事故,只要相关,他们就必须收取更多费用。事实上,在实验中改变一个人的性别是不可能的,因此永远无法证明原因。

同样,Google 并不真正需要关心红色是否会让人点击广告,如果它与更多点击相关,他们可以为该广告收取更多费用。

它还受到《连线:理论的终结:数据洪流使科学方法过时》中的这篇文章的启发。一个报价:

“谷歌的创始理念是我们不知道为什么这个页面比那个更好:如果传入链接的统计数据表明它是,那就足够了。”

显然,谷歌有很多非常聪明的人知道因果关系和相关性之间的区别,但在他们的情况下,他们可以赚很多钱而不关心它。

我同意大卫的观点:如果你打算进行干预,差异很重要,谷歌可以通过运行受控实验来测试干预的结果。(此类实验的最佳时间表取决于您从以前的实验和观察数据中学到的一组因果假设,因此相关性仍然有用!)

谷歌可能想要学习因果关系的第二个原因。因果关系对其他参与者的干预更为稳健。干预往往是局部的,因此它们可能会改变因果网络的一部分,但保持所有其他因果机制不变。相比之下,如果一个遥远的因果关系被破坏,预测关系可能会失败。互联网在不断变化,谷歌应该对在线环境的哪些功能更能适应这些变化感兴趣。