这是一个简单的情况;让我们保持这样。 关键是要专注于重要的事情:
获取有用的数据描述。
评估与该描述的个体偏差。
评估机会在解释中的可能作用和影响。
保持知识完整性和透明度。
仍然有许多选择,许多形式的分析将是有效和有效的。让我们在这里说明一种方法,可以推荐它遵守这些关键原则。
为了保持完整性,让我们将数据分成两半:从 1972 年到 1990 年的观察结果和从 1991 年到 2009 年的观察结果(每个数据 19 年)。我们将模型拟合到前半部分,然后看看拟合在预测后半部分时的效果如何。这具有额外的优势,可以检测到下半年可能发生的重大变化。
为了获得有用的描述,我们需要 (a) 找到一种方法来衡量变化,并 (b) 拟合适合这些变化的最简单模型,对其进行评估,然后迭代地拟合更复杂的模型以适应与简单模型的偏差。
(a) 您有很多选择:您可以查看原始数据;你可以看看他们的年度差异;你可以用对数做同样的事情(评估相对变化);您可以评估失去的生命年数或相对预期寿命 (RLE);或许多其他事情。经过一番思考,我决定考虑 RLE,定义为队列 B 的预期寿命与(参考)队列 A 的比率。幸运的是,如图所示,队列 A 的预期寿命在稳定的情况下定期增加随着时间的流逝,RLE 中的大部分看起来随机的变化将是由于 Cohort B 的变化。
(b) 最简单的可能模型是线性趋势。让我们看看它的效果如何。
该图中的深蓝色点是为拟合而保留的数据;浅金色点为后续数据,不用于拟合。黑线是拟合,斜率为 0.009/年。虚线是各个未来值的预测区间。
总体而言,拟合看起来不错:残差检查(见下文)显示,随着时间的推移(在 1972-1990 数据期间),它们的大小没有重要变化。(有一些迹象表明,当预期寿命较低时,它们在早期往往更大。我们可以通过牺牲一些简单性来处理这种复杂情况,但估计趋势的好处不太可能很大。)只有最微小的暗示序列相关性(表现为一些正残差和负残差运行),但显然这并不重要。没有异常值,这将由预测带之外的点指示。
令人惊讶的是,在 2001 年,这些值突然下降到较低的预测范围并保持在那里:相当突然和大的事情发生并持续存在。
这是残差,它们是与前面提到的描述的偏差。
因为我们想要将残差与 0 进行比较,所以将垂直线绘制到零水平作为视觉辅助。同样,蓝点显示用于拟合的数据。浅金色是 2000 年后接近预测下限的数据的残差。
从这个数字我们可以估计2000-2001年变化的影响约为-0.07。这反映了队列 B 整个生命周期中突然下降 0.07 (7%)。在那次下降之后,残差的水平模式显示之前的趋势仍在继续,但处于新的较低水平。这部分分析应该被认为是探索性的:它不是特别计划的,而是由于保留数据(1991-2009)与其余数据的拟合之间的惊人比较而产生的。
另一件事——即使只使用最早的 19 年数据,斜率的标准误差也很小:它只有 0.0009,仅为 0.009 估计值的十分之一。对应的 t 统计量为 10,自由度为 17,非常显着(p 值小于10−7); 也就是说,我们可以确信趋势不是偶然的。 这是我们评估机会在分析中的作用的一部分。其他部分是残差的检查。
似乎没有理由为这些数据拟合更复杂的模型,至少不是为了估计 RLE 随着时间的推移是否存在真正的趋势:有一个。我们可以更进一步,将数据拆分为 2001 年之前的值和 2000 年之后的值,以改进我们的估计趋势,但进行假设检验并不完全诚实。p 值会人为地降低,因为没有提前计划拆分测试。但作为一项探索性练习,这样的估计是可以的。从您的数据中学习一切!请注意不要用过度拟合(如果您使用超过六个左右的参数或使用自动拟合技术,这几乎肯定会发生)或数据窥探来欺骗自己:请注意正式确认和非正式确认之间的区别(但有价值的)数据探索。
让我们总结一下:
通过选择适当的预期寿命测量(RLE),保留一半数据,拟合一个简单模型,并根据剩余数据测试该模型,我们非常有信心地确定: 有一个一致的趋势;它在很长一段时间内一直接近线性;2001 年,RLE 突然持续下降。
我们的模型非常简洁:它只需要两个数字(斜率和截距)就可以准确地描述早期数据。它需要三分之一(中断日期,2001 年)来描述明显但出乎意料的背离这种描述。这个三参数描述没有异常值。通过描述序列相关性(通常是时间序列技术的重点)、试图描述所展示的小个体偏差(残差)或引入更复杂的拟合(例如添加二次时间分量),该模型不会得到实质性改进或对残差大小随时间的变化进行建模)。
趋势是每年 0.009 RLE。这意味着随着时间的推移,队列 B 中的预期寿命增加了完整预期正常寿命的 0.009(几乎 1%)。在研究过程中(37 年),这相当于 37*0.009 = 0.34 = 整个生命周期改善的三分之一。2001 年的挫折将这一收益减少到从 1972 年到 2009 年整个生命周期的 0.28 倍(尽管在此期间总体预期寿命增加了 10%)。
尽管可以改进此模型,但它可能需要更多参数,并且改进不太可能很大(正如残差的近随机行为所证明的那样)。因此,总的来说,我们应该满足于以如此少的分析工作获得如此紧凑、有用、简单的数据描述。