直观理解协方差、互协方差、自/互相关和功率谱密度

机器算法验证 数理统计 随机过程 协方差 密度函数
2022-03-12 14:15:00

我目前正在为我的 ECE 学士学习基础统计学的期末考试。

虽然我认为我的数学大部分都记下来了,但我缺乏对数字实际含义的直观理解。(序言:我将使用相当草率的语言)。

我知道 E[X] 是按概率加权的 X 所有结果的“加权平均值”。

Var[X] 给出了 E[X] 平方的预期方差,因此告诉我们有关分布的“模糊性”的一些信息。

我知道公式的其他属性,但缺乏任何直觉。任何人都有很好的解释/资源来帮助解决这个问题?

1个回答

正如您可能从名称中猜到的那样,协方差表示两个变量共同变化或“移动”的趋势。如果科夫(X,Y) 为正,则较大的值X与较大的值相关联Y和较小的值X与较小的值相关联Y. 如果协方差为负,则相反:小Xs 与更大的相关联Ys 反之亦然。例如,我们希望看到薪水和经验年限之间的协方差很高,但体重和最高跑步速度之间的协方差很低或为负。

协方差与尺度相关(例如,如果体重以千克或磅为单位测量,您将得到不同的协方差)并且单位有点奇怪(在我们的两个示例中为美元年和千克米每秒),所以我们经常通过除以来归一化协方差σxσy获得相关性相关性是无单位的,范围从 -1 到 1,这使其成为线性关联的方便度量。(那个线性位是一个非常重要的警告!)

现在,假设我们有一系列以某种方式排序的值;这些通常是时间序列,但并非总是如此。相关函数是位置/时间值之间的相关性t在其他位置有值(t1),(t2)等。高自相关可能表明序列变化缓慢,或者等效地,当前值可以从以前的值预测。尽管方差和协方差是标量(即单个值),但自相关是一个向量——您会得到每个“滞后”或“间隙”的自相关值。白噪声具有非常平坦的自相关函数,因为它是随机的;自然图像通常具有广泛的空间自相关,因为附近的像素通常具有相似的颜色和亮度。回声可能在中心附近有一个峰值(因为声音是自相似的),在静音期间有一个平坦区域,然后是另一个构成回声本身的峰值。

互相关通过将其中一个相对于另一个移动来比较两个系列。像自相关一样,它产生一个向量。向量的中间只是两者之间的相关性XY. 之前的条目是副本之间的相关性X稍微移动一个方向和 Y;中间后面的条目是副本之间的相关性X稍微向另一个方向移动并且Y. (如果您熟悉卷积,这非常相似)。如果XY是(可能延迟的)彼此的副本,它们将具有互相关函数,在某处峰值为 1.0,峰值的位置由延迟给出。

协方差互协方差函数类似于它们的相关等价物,但未缩放;这与协方差和相关性之间的区别相同。

功率谱密度告诉您信号的功率如何分布在各种频率上。纯音(即正弦波)的 PSD 是平坦的,除了音调的频率;自然信号和声音具有更复杂的 PSD,包括谐波、泛音、共振等。它与其他概念相关,因为自相关函数的傅里叶变换是 PSD。