（也发布在推特上，但在此处重新发布）我尝试回答：我认为理由不能“纯粹”客观，但它可以基于在理性/经验基础上可以辩护的标准。我认为 RSS 是您可以证明某些类型研究的 p <.005 合理性的一个示例，但我也认为在其他情况下，不同的 alpha 会比 <.005（更高或更低）更优化，具体取决于什么 alpha 是可行的，研究的目的是什么。因此，例如，如果您有 5,000 名参与者并且感兴趣的最小效应大小是 0.10，您可能希望使用 p <.001 并具有 90% 的功效（数字都是虚构的）相比之下，假设您进行了一个小型实验作为研究线的初始“概念证明”。你可能有 N = 100, p < .10, 90% power,

我最近一直在思考同样的问题，我猜心理学中的许多其他人也是如此。

首先，您的每个问题都与选择是客观还是主观有关，但是（正如其他人在这里指出的那样）您还没有完全解释（在您看来）客观与主观选择的构成。

您可能对Gelman & Hennig 2015 年的论文感兴趣，该论文揭示了科学中“客观”和“主观”标签的常见用法中包含的各种价值观。在他们的表述中，“客观”与透明、共识、公正和符合可观察现实的价值观有关，而“主观”与多视角和上下文相关的价值观有关。

与您的问题 3 相关，在贝叶斯看来，概率被定义为对世界的不确定性进行量化。据我了解，“主观贝叶斯”（概率反映个人的信仰状态）和“客观贝叶斯”学派（概率反映共识的合理性）之间存在明显的紧张关系。在客观主义学派中，更加强调以符合共识并且可以检查的透明方式证明先验分布（以及更普遍的模型）的合理性，但是模型的选择肯定是上下文相关的（即，取决于特定问题的共识知识状态）。

在频率论者的概念中，概率反映了在无限独立复制的情况下事件将发生的次数。在 Neyman-Pearson 框架内，规定一个精确的备择假设和一个精确的 alpha，根据数据接受精确的零或精确的备择（总体效应与规定的完全相等），然后报告长期这样做的频率是错误的。

在这个框架内，我们很少有人口效应大小的精确点估计，而是一系列合理的值。因此，以给定的 alpha 为条件，我们没有对 2 类错误率的精确估计，而是一个合理的 2 类错误率范围。同样，我同意您的一般观点，即我们通常无法准确了解类型 1 错误或类型 2 错误的成本和收益实际上是什么。这意味着我们经常面临这样一种情况，即我们首先对我们的假设应该是什么的信息非常不完整，而关于接受和拒绝这个假设的相对成本和收益的信息就更少了。

你的问题：

1. 在大多数社会科学背景下，假阳性/假阴性率及其成本比是否可以客观地证明？

我认为是这样，因为理由可以是透明的，可以符合共识，可以是公正的，并且可以符合现实（在某种程度上，我们正在使用我们所拥有的关于成本和收益的最佳可用信息）。

然而，我认为这样的理由也是主观的，因为对于如何为给定问题设置 alpha 可以有多种有效的观点，并且构成适当 alpha 的内容可以有意义地依赖于上下文。

例如，近年来，文献中的许多效应反映了 M 型或 S 型错误，这一点变得很清楚。它们也可能反映类型 1 错误，在一定程度上，重复研究能够提供完全零效应无效的证据。

与这一观察结果相关的是，一个新兴的共识是，肯定索赔的 p 值阈值应保持不变或更严格（即，没有人主张将 alpha 全面增加到 0.10 或 0.20） . 类似地，出现了一个共识，即不应将 p 值用作发布的标准（例如，注册报告格式）。

对我来说，这反映了一种“客观”的信息来源——也就是说，在我看来，越来越多的共识是虚假声明对这个领域来说是昂贵的（即使我们不能为这些成本计算一美元）。在我看来，没有明确的共识认为，未能达到 p 值阈值对该领域来说是一个巨大的成本。如果有成本，如果未能达到 p 值阈值不影响估计是否将其纳入已发表的论文，则可以减轻成本。

2. 如果是这样，人们可以遵循哪些可推广的原则来证明这些分析选择的合理性（可能是其中的一两个例子）

我不确定，但我倾向于某种原则，即决策应该基于对特定背景下不同类型分析选择的成本和收益的透明（本地或全球）共识判断，即使在面对关于这些成本和收益可能是什么的可悲的不完整信息。

3. 如果不是，我对选择成本比率的潜在主观性的类比——类似于贝叶斯先验选择——是否合理？

是的，在频率论和贝叶斯传统中，统计模型的许多不同方面都存在主观性（即多视角和上下文依赖性）以及客观性（即透明度、共识、公正性和与可观察现实的对应）的空间以及如何使用该模型（选择的先验、选择的可能性、选择的决策阈值等）。