所以我知道变量选择是模型选择的一部分。但是模型选择究竟包括什么?是否不止以下几点:
1)为您的模型选择一个分布
2) 选择解释变量,?
我问这个是因为我正在阅读一篇文章Burnham & Anderson:AIC vs BIC,他们在其中讨论了模型选择中的 AIC 和 BIC。阅读这篇文章,我意识到我一直在将“模型选择”视为“变量选择”(参考评论BIC 是否试图找到一个真正的模型?)
文章摘录,他们谈到了 12 个模型,它们的“通用性”程度越来越高,当 KL-Information 针对 12 个模型绘制时,这些模型显示出“锥形效应”(图 1):
不同的哲学和目标模型 ……尽管 BIC 的目标是比 AIC 的目标模型更通用的模型,但 BIC 在这里最常选择的模型将不如模型 7 通用,除非n非常大。它可能是模型 5 或模型 6。众所周知(从文献中的大量论文和模拟中)在锥形效应背景下(图 1),AIC 的性能优于 BIC。如果这是一个人的真实数据分析的上下文,那么应该使用 AIC。
BIC怎么能在模型选择中选择比AIC更复杂的模型我不明白!具体是什么“模型选择”,BIC什么时候选择比AIC更“通用”的模型?
如果我们在谈论变量选择,那么 BIC 肯定总是选择变量数量最少的模型,对吗?这BIC 中的术语总是会比AIC 中的术语。但是,当“ BIC 的目标是比 AIC 的目标模型更通用的模型”时,这不是没有道理吗?
编辑:
从评论中的讨论是否有任何理由更喜欢 AIC 或 BIC?我们在评论中看到了@Michael Chernick 和@user13273 之间的小讨论,这让我相信这并不是那么微不足道的事情:
我认为将这个讨论称为“特征”选择或“协变量”选择更合适。对我来说,模型选择要广泛得多,涉及到误差分布、链接函数形式和协变量形式的规范。当我们谈论 AIC/BIC 时,我们通常处于模型构建的所有方面都是固定的情况下,除了协变量的选择。– user13273 2012 年 8 月 13 日 21:17
确定要包含在模型中的特定协变量通常通过术语模型选择来进行,并且有许多书名中包含模型选择的书籍主要决定要在模型中包含哪些模型协变量/参数。——迈克尔·切尔尼克 2012 年 8 月 24 日 14:44