变量选择与模型选择

机器算法验证 特征选择 模型选择 aic 比克
2022-03-13 10:47:44

所以我知道变量选择是模型选择的一部分。但是模型选择究竟包括什么?是否不止以下几点:

1)为您的模型选择一个分布

2) 选择解释变量,?

我问这个是因为我正在阅读一篇文章Burnham & Anderson:AIC vs BIC,他们在其中讨论了模型选择中的 A​​IC 和 BIC。阅读这篇文章,我意识到我一直在将“模型选择”视为“变量选择”(参考评论BIC 是否试图找到一个真正的模型?

文章摘录,他们谈到了 12 个模型,它们的“通用性”程度越来越高,当 KL-Information 针对 12 个模型绘制时,这些模型显示出“锥形效应”(图 1):

不同的哲学和目标模型 ……尽管 BIC 的目标是比 AIC 的目标模型更通用的模型,但 BIC 在这里最常选择的模型将不如模型 7 通用,除非n非常大。它可能是模型 5 或模型 6。众所周知(从文献中的大量论文和模拟中)在锥形效应背景下(图 1),AIC 的性能优于 BIC。如果这是一个人的真实数据分析的上下文,那么应该使用 AIC。

BIC怎么能模型选择中选择比AIC更复杂的模型我不明白!具体是什么“模型选择”,BIC什么时候选择比AIC更“通用”的模型?

如果我们在谈论变量选择,那么 BIC 肯定总是选择变量数量最少的模型,对吗?2ln(N)kBIC 中的术语总是会比2kAIC 中的术语。但是,当“ BIC 的目标是比 AIC 的目标模型更通用的模型”时,这不是没有道理吗?

编辑

从评论中的讨论是否有任何理由更喜欢 AIC 或 BIC?我们在评论中看到了@Michael Chernick 和@user13273 之间的小讨论,这让我相信这并不是那么微不足道的事情:

我认为将这个讨论称为“特征”选择或“协变量”选择更合适。对我来说,模型选择要广泛得多,涉及到误差分布、链接函数形式和协变量形式的规范。当我们谈论 AIC/BIC 时,我们通常处于模型构建的所有方面都是固定的情况下,除了协变量的选择。– user13273 2012 年 8 月 13 日 21:17

确定要包含在模型中的特定协变量通常通过术语模型选择来进行,并且有许多书名中包含模型选择的书籍主要决定要在模型中包含哪些模型协变量/参数。——迈克尔·切尔尼克 2012 年 8 月 24 日 14:44

1个回答

有时建模者将变量选择分离为模型开发中的一个不同步骤。例如,他们将首先进行探索性分析,研究学术文献和行业实践,然后提出候选变量列表。他们将此称为 step variable selection

接下来,他们会运行一堆不同的规格,其中包含许多不同的变量组合,例如 OLS 模型:

yi=jmXijmβjm+εi,
在哪里jm表示变量j在模型中m. 他们会从所有模型中挑选出最好的模型m手动或自动程序。所以,这些人会称之为后期模型选择

这类似于机器学习中人们在提出变量时谈论特征工程的方式。您将这些功能插入到 LASSO 或类似框架中,您可以在其中使用这些功能(变量)构建模型。在这种情况下,将变量选择分成一个不同的步骤是有意义的,因为您让算法为变量选择正确的系数,而不是消除任何变量。您的判断(关于哪个变量进入模型)在变量选择步骤中被隔离,然后剩下的取决于拟合算法。

在您引用的论文的上下文中,这一切都无关紧要。本文使用 BIC 或 AIC 在不同的模型规格之间进行选择。在这种情况下,您是否将变量选择作为单独的步骤并不重要。重要的是哪些变量在任何特定的模型规范中m,然后你看看他们的 BIC/AIC 来挑选最好的。它们考虑了样本量和变量数量。