对统计中非技术性但深度文章的建议

机器算法验证 参考
2022-01-28 23:53:37

这个问题的灵感来自于已故的 Leo-Breiman 的著名文章Statistical Modeling: The Two Cultures (available open access)。作者比较了他认为的两种不同的数据分析方法,触及了经典统计学和机器学习中的关键思想。然而,这篇文章对于广大读者来说是可以理解的——可以说任何使用数据的人都可以理解,无论他们是攻读博士学位还是只参加过入门课程。而且,这篇文章很刺激也就是说,它很容易引起讨论(正如同一期发表的一系列生动的评论所证明的那样)。

我很想发现更多具有这些品质的文章。也就是说,文章:

  • 接触统计/数据分析中的基本概念
  • 广泛的受众可以理解研究重点和正式统计培训的变化
  • 激发讨论,无论是通过洞察力还是争议
4个回答

Shmueli,加利特。“解释还是预测?” 统计科学(2010):289-310。

我相信它符合你的三个要点。

它讨论了解释性与预测性建模(这些术语应该是不言自明的),并指出它们之间的差异通常未被识别。

它提出了一个观点,即根据建模的目标(解释性与预测性),可以使用不同的模型构建策略,并且可以选择不同的模型作为“最佳”模型。

这是一篇相当全面的论文,读起来很愉快。Rob J. Hyndman 的文中总结了对它的讨论。关于交叉验证的相关讨论在这个线程中(有很多赞成票)。关于同一主题的另一个(未回答的)问题是this

Lehmann, Erich L. “ Fisher, Neyman-Pearson 检验假设的理论:一个理论还是两个? ”。美国统计协会杂志 88.424 (1993): 1242-1249。

很多人并不知道,但当这个行业的巨头还在我们中间时,他们相处得并不融洽。特别是关于假设检验基础的辩论,无论它应该是归纳的还是演绎的,一方面是费舍尔,另一方面是内曼 - 皮尔森之间存在一些相当严重的侮辱。在他们的一生中,这个问题从未得到解决。

在他们都过去很久之后,莱曼试图弥合差距,我认为做得很好,因为他表明这些方法是互补的,而不是相互排斥的。顺便说一句,这就是现在的学生所学的。您需要了解一些关于假设检验的基本知识,但您可以毫无问题地按照论文进行操作。

Wilk, MB 和 Gnanadesikan, R. 1968。数据分析的概率绘图方法。 生物计量学55:1-17。Jstor 链接(如果您有权访问)

这篇论文,在我写作的时候,已经快 50 年了,但仍然感觉新鲜和创新。使用丰富多样的有趣和实质性的例子,作者统一和扩展了使用 QQ(分位数-分位数)和 PP(概率-概率)图的框架绘制和比较分布的各种想法。这里的分布泛指在他们的分析中出现的任何数据集或数字(残差、对比等)。

这些图的特定版本可以追溯到几十年前,最明显的是正态概率或正态分数图。在这些术语中,它们是分位数 - 分位数图,即观察到的分位数与来自正态(高斯)分布的相同大小样本的预期或理论分位数的图。但作者谦虚而自信地表明,相同的想法可以很容易地扩展——实际上可以使用现代计算——用于检查其他类型的分位数并自动绘制结果。

两位作者当时都在贝尔电话实验室工作,享有最先进的计算设施,甚至许多大学和研究机构也花了十年左右的时间才赶上。即使是现在,本文中的想法也值得更广泛地应用。这是一个罕见的介绍性文本或课程,其中包含除正常 QQ 情节之外的任何这些想法。当引入分布图时,直方图和箱线图(每一个通常都非常有用,但每个都笨拙且在几个方面受到限制)仍然是主要的主要内容。

就个人而言,尽管这篇论文的主要思想在我职业生涯的大部分时间里都很熟悉,但我喜欢每隔几年左右重读一次。一个很好的理由是对作者提出简单但强大的想法并通过严肃的例子产生良好效果的方式感到高兴。另一个很好的理由是,这篇论文简洁明了,没有丝毫夸张的痕迹,暗示了主要思想的扩展。我不止一次地重新发现了在侧面提示和进一步评论中明确涵盖的主要思想的曲折。

这不仅仅是针对那些对统计图形特别感兴趣的人的论文,尽管在我看来,这应该包括所有对任何类型的统计感兴趣的人。它提倡思考分布的方式,这些方式实际上有助于培养任何人的统计技能和洞察力。

Ioannidis, John PA “为什么大多数已发表的研究结果都是错误的。” 公共科学图书馆医学 (2005)

Ioannidis, John PA “如何使更多已发表的研究成为现实。” 公共科学图书馆医学 (2014)

必须为每一个想要避免在研究中错误地使用和解释统计数据的危险的研究人员/统计学家/分析师阅读。2005 年的文章是公共科学图书馆历史上访问量最大的文章,引发了很多争议和讨论。