统计、期望值和理念

机器算法验证 意思是 期望值
2022-03-13 08:46:45

首先说明:我不是统计学家。我在大学学习数学(但选择退出每一堂统计课),现在发现自己从事的工作是统计数据。

我的问题有点哲学性,我敢肯定我的大脑因为对错误的事情想得太用力而扭曲了,但我正在为随机变量的概念而苦苦挣扎。

假设一个打字员平均每分钟近似正态分布我认为这是很标准的。μμ

所以我们可以说我们希望打字员每分钟好的,如果我们用另一个人代替打字员呢?我们是否期望第二个人以每分钟当然不是,因为我们只有第一人称的样本,而没有第二人的样本,对吧?第二个打字员的平均值可能完全不同。这是有道理的,但是如果我把原来的打字员放回去,把一只手绑在他背后怎么办。显然期望值是不同的,因为打字员显然不能快速打字。但是在什么条件下,我们可以期望打字员的平均值为μμμ? 似乎打字员状态的任何扰动都会改变概率。但是我们从来没有真正定义过打字员的状态,期望值是从样本中计算出来的。很明显,每次打字员打字时,他或她的状态都会略有不同,即可能头痛、可能手指疼痛、可能做白日梦,但我们仍然计算样本中的那些。所以在我看来,从技术上讲,如果我们可以接受状态的一些小变化,那么为什么我们不能接受状态的大变化呢?或者分界线在哪里?即如果我更换打字员,我同样有权说每分钟的预期字数仍然是μ

我想有人解释为什么上面是错误的。也许这是一个显而易见的答案。

4个回答

我认为最好通过关注您想知道的内容来回答您的问题。

您说得对,打字员每分钟的平均字数只是对该特定打字员的有意义的推论。但是,以许多间隔测量打字员的表现,有望随机混合其他状态,因此对它们进行平均。平均值可以看作是所有这些不同状态的加权平均值。如果您愿意,您可以构建一个模型来整合其他可能会提高或降低打字员能力的解释性信息——头痛、睡眠不足等。但这可能只有在您需要衡量某些情况的重要性或影响大小时才有必要在打字员身上。

如果您对整个打字员领域的推论感兴趣,那么您显然必须收集不止一位打字员的信息。使用一个大的随机样本打字池,你可以描述典型打字员的比率,他们的分散等。即使他们的比率可能是生物、物理和环境因素的复杂函数,因此是确定性的而不是随机的,如果我们对这些特征不感兴趣,并且我们相信我们的随机样本代表了这些特征,我们的推论将有效地“平均”这些特征。同样,如果某些打字员的双手被绑在背后,那么随机抽样将捕捉到这种现象,并将其反映在您使用该随机样本计算的任何统计数据中。

如果我们的研究关注的是打字的协变量,那么收集有关打字员状况的信息将是必不可少的——可能是他们的头痛状态、他们是否患有关节炎、他们的年龄等。

我希望这为理解统计数据背后的逻辑提供了背景,并解决了您提出的问题。如果您想进一步阐述,请告诉我,欢迎来到 Cross Validated。

DJE 给出了一个很好的答案,但我只想添加一些关于我们可以接受和不接受哪些状态的说明。

当您测量打字员的速度时,您实际上是在测量边际期望值。为简单起见,让我们考虑打字员的速度处于两种状态之一(快=1,慢=0),并假设我们正在尝试估计这是一个快速打字员的概率。

因此,当您测量多个时间点的速度并对其进行平均时,您正在估计 Pr(fast)。但是通过随机选择时间点,您可以通过对边际概率的贡献来估计这一点) + Pr(fast|tired)Pr(tired) + Pr(fast|hungry)Pr(hungry) + Pr(fast|deadline)Pr(deadline)+... 等等。

如果您随机选择时间点,那么数据集中出现的状态应该代表该打字员所在时间的人群中出现的状态分布。可能会错过非常罕见的状态,但除非它们对打字速度有很大影响,否则不会造成太大的偏差。如果您的打字员在打字时将手绑在背后,那么 Pr(手绑)>0,它将在您的数据中以概率 = Pr(手绑)表示。我们不接受“将一只手绑在打字员背后”作为一种状态的原因是因为这不是打字员状态的正常变化 - 即我们认为 Pr(hand绑) = 0。同样,如果 Pr(打字员 A = 打字员 B) = 0,那么我们不接受切换打字员作为我们的边际概率适用的状态。

这个问题取决于可交换性的概率概念。考虑一个产生一系列结果的实验X1,X2,X3,...并假设我们有“稳定的条件”,我们的意思是实验的条件在每次试验的本质上足够相似,我们相信结果的顺序不能提供信息。实验中的这种“稳定性”被结果序列的可交换性概念所捕捉。事实上,我们可以合理地将实验中的“稳定条件”定义为我们认为会导致结果可交换的条件。

实验中的参数估计可以理解为如下操作。如果我们有一个实验可以产生(假设是无限的)结果序列X1,X2,X3,...然后我们可以定义参数均值:

μlimn1ni=1nXi.

在可交换条件下,可以证明从哲学上讲,这是无限序列的操作结果是考虑这个“参数”的理由。也就是说,“参数”只有在我们假设存在一些无限的值序列时才是一个东西,它是从操作上定义的。从可交换性下出现的公共均值来看,样本均值的合理估计量,它是无偏且强一致的。E(Xi)=μX¯n=i=1nXi/nμ

现在,如果我们改变实验的条件(例如,通过改变打字员,或改变原来打字员的工作条件),那么我们就不能再说这两个实验的组合结果是可交换的结果。因此,我们不能再诉诸可交换随机变量序列的共同均值,并且我们不再有任何理由相信一个实验的样本均值将作为另一个实验的参数均值的合理估计量。在这种情况下,我们现在有效地拥有两个独立的结果序列,它们可能是单独可交换的(如果每个都有自己的稳定条件),但它们在融合在一起时是不可交换的。

理解这个问题的哲学基础需要对从可交换序列派生的 IID 模型有深入的了解。在这方面,我强烈建议阅读可交换性和参数的操作模型(例如,参见Bernardo 1996)。

如果您认为 x 是常数,那么预期值将是 x。如果您想查看 x 的演变,您无法假设 x 是恒定的。

我的方法会有所不同。假设现在您的 x 随着时间的推移而演变,您有一个时间序列。

要猜测期望值,您可以建立一个模型。该模型应包括:

一个趋势:x 会随着打字员学习打字而增长,随着打字员年龄的增长而减少。

周期性影响:每年随着天气来来去去,每月随着工资来来去去,每天打字员都会感到疲劳。

还有一些很大的变化:如果你看几天会生病,如果看小时就会失去注意力,如果看分钟就会错字。

如您所见,将平均值作为对未来的估计是不够的。你必须建立一个好的估算器。这可能很复杂,因为我可能忘记了一些影响(害怕空白页、要完成的出版物……),而且它需要很多 x 措施。

所以我们可以回到您的解决方案。

假设趋势是缓慢的。选择一个可以保持您需要的周期性效果并避免其他效果的时期。为其他效果建立模型。一个简单的可以只考虑受到影响的概率和速度的损失。

您可以取上述期间的平均值,并针对其他影响进行调整,以对预期值进行良好估计。