这是一个关于描述使用公共数据集或任何其他预先存在的数据集进行的分析的修辞的问题。
这是假设情况：研究人员报告说他们有一个假设。为了测试这一点，他们从 N 个参与者的数据库中抽取了一个样本，n 个符合研究标准的个体。他们在样本上对该假设进行了单一的先验检验，并报告假设的组差异或相关性或其他任何内容大于 0，p<.05。
这是探索性的还是假设检验的一个很好的例子？
因为对现有数据集的任何单一报告分析都可能是许多询问之一，因此任何此类报告都应被视为探索性而非假设检验。换句话说，使用单样本假设检验的修辞对现有数据集进行分析似乎会误导读者过度解释结果。
但是，我也可以看到有人为研究人员提出了质疑的好处，就像所有非预注册研究中的情况一样。换句话说，我们可以假设研究人员只是在现有数据库的这个单一子集上测试了这个假设吗？
我不同意对现有数据的所有分析都是探索性的。您描述的场景似乎是假设检验的教科书完美示例，假设调查人员在没有先查看数据的情况下生成了他们的假设。如果这真的是一个先验假设，那么如果他们出去进行测量而不是仅仅下载数据会发生什么变化？
当假设是由随后对其进行测试的相同数据形成时，就会出现探索性分析（数据挖掘、多重比较等）的问题。如果您假设的研究人员翻阅了数据并注意到两个因素之间可能存在有趣的关系，那么随后对该关系的测试提供的证据比在一组全新的观察结果上进行测试时提供的证据要弱一些。在某些情况下，可能会收集额外的确认数据；您还可以潜在地使用数据的一个子集来开发您的模型，然后在其余数据上对其进行测试（如果您的“探索”是自动化的，那么还有交叉验证之类的东西）。我很想听听（例如）宏观经济学家如何处理这个问题，
实际上，我认为您或多或少必须相信作者的话。理想情况下，作者会解释他们是如何得出他们的假设的；当然，也有可能想出一些经过折磨的事后合理化，但这些往往从文本中脱颖而出。预先注册肯定会有所帮助——临床试验已经进行了一段时间，一些心理学家正在提倡将其用于基础科学型实验——但这也带来了一些很大的后勤障碍。
最后，我内心的贝叶斯理论要指出，单独的研究很少有价值。如果这项研究是公开的探索性的，或者你认为作者可能偷看了，那么少更新你的信念并没有错。
天文学家和天体物理学家主要使用其他人收集的数据。其中一位科学家收集的证据将被许多其他通过测试良好假设来从事良好科学工作的人使用。
该示例描述了从 N 的收集样本中取出 n 并执行测试。这肯定不是“假设检验的好例子”——为什么不使用其余的数据呢？
另一方面，它可能是一个测试狭义假设的特定示例，目的是在足够大的样本中没有出现应该普遍正确的东西时拒绝它（或修改它）。
一个“好例子”必须属于一个足够完善的叙述，以至于接受或拒绝都会产生后果。有“已知的科学”，假设有机会改变期望。一个数据集可能无法回答所有问题，但足以提出新问题。
这让我想起了为弗林效应分析的各种数据（参见 Wikip）。弗林效应是观察到智商分数每十年增加几个点。它的一个早期指标是观察到智商和成就测试的制造商发现有必要每隔几年重新标准化他们的测试，以将智商平均值保持在 100 等。早期，效应的存在被揭穿智商随着年龄的增长而下降的程度：回答与 30 或 40 年前完全相同的年龄较大的测试者将在未进行队列年龄调整的测试中获得较低的分数
在随后的替代解释测试中，已经调查了数十或数百个数据集，这些数据集主要用于其他目的。是什么让这些“好例子”中的一些是它们如何很好地解决特定的有说服力的论点