机器算法验证 - 模型错误指定下的统计推断 - 吾爱随笔录

模型错误指定下的统计推断

机器算法验证造型推理指定错误

2022-03-20 03:52:38

我有一个普遍的方法论问题。之前可能已经回答过，但我无法找到相关的线程。我将感谢指向可能重复的指针。

（这是一个很好的，但没有答案。这在精神上也很相似，即使有答案，但从我的角度来看，后者太具体了。这也很接近，在发布问题后发现。）

主题是，在看到数据之前制定的模型未能充分描述数据生成过程时，如何进行有效的统计推断。这个问题非常笼统，但我将提供一个具体的例子来说明这一点。但是，我希望答案集中在一般的方法问题上，而不是对特定示例的细节进行挑剔。

考虑一个具体的例子：在时间序列设置中，我假设数据生成过程是和。的主题假设。我根据模型进行了转换，以获得我的主题假设的可行统计对应物，这是到现在为止还挺好。但是当我观察数据时，我发现模型没有充分描述数据。比方说，有一个线性趋势，所以真正的数据生成过程是和

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

如何对我的主题假设进行有效的统计推断？ $\frac{dy}{dx}=1$

如果我使用原始模型，它的假设就会被违反，并且的估计量没有它本来应该有的良好分布。因此，我无法使用检验来检验假设。 $\beta_1$ $t$
如果在查看数据后，我从模型切换到并将我的统计假设从更改为，模型假设得到满足并且我得到一个行为良好的估计量，并且可以使用。然而，从到 $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ 由我希望检验假设的数据集提供信息。这使得估计量分布（因此也是推断）取决于基础模型的变化，这是由于观察到的数据。显然，这种调节的引入并不令人满意。

有什么好的出路吗？（如果不是常客，那么也许是一些贝叶斯替代方案？）

2个回答

出路实际上是样本测试，一个真正的。不是你将样本分成训练并像交叉验证那样坚持的那个，而是真正的预测。这在自然科学中非常有效。事实上，这是它工作的唯一方式。你在一些数据上建立了一个理论，然后你应该对尚未观察到的东西做出预测。显然，这不适用于大多数社会（所谓的）科学，例如经济学。

在工业中，这就像在科学中一样。例如，如果交易算法不起作用，你最终会赔钱，然后你就放弃了。交叉验证和训练数据集被广泛用于开发和决定部署算法，但在它投入生产之后，一切都是关于赚钱或亏损的。非常简单的样本外测试。

您可以定义一个“组合过程”并调查其特征。假设您从一个简单模型开始，并允许拟合一个、两个或三个更复杂（或非参数）模型，以防简单模型不适合。您需要指定一个正式规则，根据该规则您决定不适合简单模型，而是适合其他模型之一（以及哪个模型）。您还需要对您感兴趣的假设进行测试，以便在所有相关模型（参数或非参数）下应用。

使用这样的设置，您可以模拟特征，即，如果零假设为真，以及存在多个感兴趣的偏差，最终拒绝的百分比是多少。您还可以从所有涉及的模型进行模拟，并查看条件水平和条件功率等数据，假设数据来自模型 X、Y 或 Z，或者假设模型错误指定测试程序选择模型 X、Y 或 Z。

你可能会发现选型并没有太大的坏处，因为达到的水平仍然非常接近你所追求的水平，而且功率即使不是很好也可以。或者您可能会发现依赖数据的模型选择确实搞砸了；这将取决于细节（如果您的模型选择过程非常可靠，那么机会是水平并且功率不会受到很大影响）。

现在这与指定一个模型然后查看数据并决定“哦，我需要另一个模型”并不完全相同，但它可能与调查这种方法的特征一样接近。这不是微不足道的，因为您需要做出许多选择才能实现这一目标。

一般评论：我认为将应用统计方法二元分类为“有效”和“无效”是一种误导。没有什么是 100% 有效的，因为模型假设在实践中永远不会精确成立。另一方面，尽管您可能会找到有效（！）的理由来称某些东西为“无效”，但如果深入研究所谓的无效方法的特征，您可能会发现它仍然工作得很好。

其它你可能感兴趣的问题

上一篇没有一致收敛的逐点收敛的实用性下一篇为什么很少使用深度信念网络（DBN）？