机器算法验证 - 确定性模型和随机模型有什么区别？ - 吾爱随笔录

确定性模型和随机模型有什么区别？

机器算法验证回归随机过程自回归的确定性的

2022-03-14 22:27:28

简单线性模型：

$x=\alpha t + \epsilon_t$ 其中 ~iid $\epsilon_t$ $N(0,\sigma^2)$

其中和 $E(x) = \alpha t$ $Var(x)=\sigma^2$

增强现实（1）：

$X_t =\alpha X_{t-1} + \epsilon_t$ 其中 ~iid $\epsilon_t$ $N(0,\sigma^2)$

其中和 $E(x) = \alpha t$ $Var(x)=t\sigma^2$

因此，简单的线性模型被视为确定性模型，而 AR(1) 模型被视为随机模型。

根据Ben Lambert 的 Youtube Video - Deterministic vs Stochastic，AR(1) 被称为随机模型的原因是它的方差随时间增加。那么非恒定方差的特征是确定随机性还是确定性的标准？

我也不认为简单的线性模型是完全确定的，因为我们有一个与模型相关中具有随机性。那么我们可以说模型在多大程度上是确定性的或随机的？ $\epsilon_t$ $x$

3个回答

该视频讨论的是确定性与随机性趋势，而不是模型。亮点非常重要。您的两个模型都是随机的，但是，在模型 1 中，趋势是确定性的。

模型2没有趋势。您的问题文本不正确。

您问题中的模型 2 是没有常数的 AR(1)，而在视频中模型是随机游走（布朗运动）：这个模型确实有随机趋势. 它是随机的，因为它只是平均由于随机项的存在，布朗运动的每个实现都会偏离，通过差分很容易看出：

x_{t} = α + x_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ x_{t} = x_{t} - x_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

x_{t} = x_{0} + \sum_{t = 1}^{t} Δ x_{t} = x_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

正如 Aksakal 在他的回答中提到的，Ken T 链接的视频描述了趋势的属性，而不是直接描述模型的属性，大概是作为计量经济学中趋势和差异平稳性相关主题教学的一部分。由于在您的问题中，您询问了模型，因此这里是在模型的上下文中：

如果模型或过程具有随机性，则它是随机的。例如，如果给定相同的输入（自变量、权重/参数、超参数等），模型可能会产生不同的输出。在确定性模型中，输出完全由模型的输入（自变量、权重/参数、超参数等）指定，因此给定模型的相同输入，输出是相同的。“随机”一词的起源来自随机过程。作为一般经验法则，如果模型具有随机变量，则它是随机的。随机模型甚至可以是简单的独立随机变量。

让我们解开一些更多的术语来帮助您理解有关统计模型（确定性、随机性或其他...）的文献：

随机模型不需要是时间相关的，甚至不需要马尔可夫过程（取决于过去的状态，例如是一阶马尔可夫，因为它取决于的状态）。您在上面提出的线性模型是随机的（具有随机变量），但不是马尔可夫（不依赖于过去的状态）。在问题中提出的线性模型中，误差项是一个随机变量，我们假设它是不相关的（有些人进一步指出误差是独立同分布的），关于均值对称分布（有些人进一步指出误差是正常的分布）和均值为零（）等。我们做出这些假设是为了使线性模型对估计有用 $AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ 通过最小化该误差项的某些范数来确定因变量。这些假设使我们能够推导出估计量的有用属性，并证明某些估计量在这些假设下是最好的；例如，OLS 估计器是 BLUE。

随机模型的一个更简单的例子是抛一枚公平的硬币（正面或反面），它可以随机建模为 iid 均匀分布的二进制随机变量或伯努利过程。如果您考虑硬币的形状、冲击的角度和力、到表面的距离等，您还可以将硬币翻转视为一个物理系统并提出一个确定性模型（在理想化的设置中）。如果抛硬币的后一个（物理）模型中没有随机变量（例如，它不考虑模型的任何输入的测量误差），那么它是确定性的。

在统计学教学中，随机性和异方差性之间存在混淆的共同点。例如，Ken T 将随机性与异方差性（或方差的可变性）混淆了。一个随机（随机）变量，例如过程的输出变量 X_t 或线性y_t中的在这种情况下，使得人口中的不同群体具有不同的方差。在 Ken T 链接的视频中（由 Ben Lambert 提供），如果您在 4:00（4 分钟）暂停，您可以看到 $X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ 右侧模型中的变量随变化（异方差），而是常数（同方差）。 $t$ $Var[X_t]$

此外，有时在平稳随机过程和非平稳随机过程之间存在混淆。平稳性意味着模型中的平均值或方差等统计数据不会随时间而变化。只要涉及随机性，两者都仍被视为随机模型/过程。正如 Maroon 同事 Matthew Gunn 在他的回答中提到的那样，Wold 的分解表明任何平稳的随机过程都可以写成确定性过程和随机过程的总和。

一些非正式的定义

确定性时间序列只能写成时间的函数。没有随机性。一些例子：
- $y(t) = 2t$
- $y(t) = e^t$
随机过程 $\{Y_t\}$ 是一系列随机变量。回想一下，随机变量是来自样本空间的函数 $\Omega$ 到一个结果。随机过程 $Y(t,\omega)$ 是两个时间的函数 $t$ 和一个结果 $\omega$ 从样本空间 $\Omega$ . 例子：
- $y_t = \epsilon_t$ 在哪里 $\epsilon_t \sim \mathcal{N}(0, 1)$ （即遵循标准正态分布）
- $y_t = .7 y_{t-1} + \epsilon_t$
您还可以将随机过程视为每个结果的确定性路径 $\omega$ 在样本空间 $\Omega$ . 随机画一个 $\omega \in \Omega$ 你得到了一条路径 $Y_t(\omega)$ .

一些评论...

... AR（1）被称为随机模型的原因是因为它的方差随时间增加。

这不是原因！AR(1) 定义随机过程的原因是因为该过程是随机的。一次可能有不同的值 $t$ ，因此该过程是随机的。

我也不认为简单的线性模型是完全确定的，因为我们有一个 $\epsilon_t$ 与模型相关的术语。

这 $x_t$ 你已经写了没有确定性。如果你有一个时间序列过程 $x_t = \alpha t + \epsilon_t$ 在哪里 $\{\epsilon_t\}$ 是一个白噪声过程，那么时间序列 $\{x_t\}$ 不会是确定性的。它是随机的，因为存在随机性！

时间序列 $y_t = \alpha t$ 将是确定性的。你可以分解 $\{x_t\}$ 分为两个组件：确定性组件 $\alpha t$ 和一个随机分量 $\epsilon_t$ .

这导致了Wold 定理，即任何协方差平稳过程都可以唯一地分解为确定性分量和随机分量。

其它你可能感兴趣的问题

上一篇为什么我们不使用加权算术平均值而不是调和平均值？下一篇每个相关矩阵都是正定的吗？