我进行了 OLS 回归,其中一个变量的 p 值为 0.065,超过了考虑统计显着性的阈值。不过,也不算太糟糕,因为我的数据只有 300 多个数据点。因此,我认为解释需要加点盐。
你会如何向非统计人员解释这样的发现?
我进行了 OLS 回归,其中一个变量的 p 值为 0.065,超过了考虑统计显着性的阈值。不过,也不算太糟糕,因为我的数据只有 300 多个数据点。因此,我认为解释需要加点盐。
你会如何向非统计人员解释这样的发现?
编辑:解决@whuber 的评论:我的回答旨在关注领域知识,而不是掩盖统计测试失败的事实。简而言之,请参阅@whuber 的评论。
讲述你发现的故事,而不是解释你的发现背后的数学原理。非统计人员想了解数据背后的故事。通常,他们会根据您的分析快速做出决定。
完全放弃假设检验和p值。我不相信 95% 的“统计人员”真的理解p值;对于“非统计人员”,我敢打赌它不到一半。除非必须,否则不要去那里。
在您的示例中,听起来您正试图拒绝所讨论的预测器的斜率参数为零的空值。这真的是你想做的吗?您是否更愿意估计实际的斜率参数,并表达您对该估计的置信度?我的猜测是,大多数非统计人员更喜欢后者。理解p值不仅仅需要统计教育。还需要相当多的认识论才能理解伪造的价值,以及为什么一项大型科学研究无法产生足够好的结果来得出任何值得发表的值得信赖的结论。相反,积极构建的信息会吸引基本的直觉。
考虑将您的结果显示为带有置信区间的效应量估计值。这不会导致证伪主义,将专注于从您的研究中获得的信息,并将传达需要对您抽样的人群说些什么。斜率系数本身可以用简单的大小来解释(例如,标准化的可能是一个相当弱的关系,但如果你有 3 倍大的标准误差,也许你的;这是一个相当在许多情况下强关系),或回归方程的字面意义(例如,对于预测变量增加一个单位,您的模型估计结果增加b)。无论哪种方式,它都比对p的正确理解要直观得多价值。这是一些不同的信息,但同样,这可能是非学术观众首先想要的信息。他们甚至可能对您的研究结果持健康的怀疑态度,即仅基于直觉得出的关于人口的结论,因此我认为您将注意力集中在研究的估计而不是它的估计上不会必然和固有地造成任何伤害对人口的影响。
对于学术、统计和所有其他类型的受众,置信区间应该足以作为有关人口的信息载体。在您的情况下,在展示您的效果大小估计并提出其影响时,可能值得提请注意预测变量和结果之间的实际关系实际上可能非常微弱(可能甚至可以忽略不计)在相反的情况下运行的可能性略大于 5%从您的研究在总体人群中显示的方向......或者可能不是。非学术观众可能同样满足于 90% 的置信区间,只有 10% 的人怀疑您的研究是否列举了相关关系强度的正确可能性范围,并且如果您对数据进行了正确建模,你可以有 90% 的把握在你的模型所指示的方向上存在关系。此外,置信区间提请注意关系大于您的模型估计值的可能性。IMO,专注于零假设倾向于将注意力吸引到置信区间中更不屑一顾的一半,但这只是故事的一半。
把事情简单化。
我相信这种相关性是有效的,但根据我目前拥有的数据,它可能是也可能不是。我需要至少两次(或 3X 或 10X 等)数据才能确定,以一种或另一种方式。
如果这没有得到令人满意的回应,请考虑一个类比。
我们都知道房价与平方英尺有关,对吧?如果我收集一小部分房屋销售样本——比如比佛利山庄的 5 个、蒙大拿州农村的 5 个和纽约市的 1 个——我们可能无法从统计数据上证明这一点。这就是我现在所处的位置。我的直觉告诉我这种关系是有效的。我的数据告诉我“也许,也许不是”。它已经跨过了门槛,可能不是领域,但只是勉强。
无论如何,我不会一起讨论 p 值。这个话题会让一个满是想以统计工作为生的学生睡着的教室。