我正在制作基线模型,想知道我应该花多少时间在上面。例如,我发现了很多关于基线模型目的的文章;
但是我该如何正确选择一个呢?
- 我是在多种算法/模型中进行选择吗?
- 我想调整我的简单模型还是保留它的默认值?
我正在制作基线模型,想知道我应该花多少时间在上面。例如,我发现了很多关于基线模型目的的文章;
但是我该如何正确选择一个呢?
主要是如何做到这一点是经验的问题。这还将告诉您什么样的模型是此类基线的良好候选者。例如,在时间序列预测中,最简单的模型是时间序列的历史平均值和最后的观测值,但它们实际上很难被击败。请注意,两种模型都需要精确调零!
另一种方法是选择至少可以输出一些“合理”数字的最简单模型。对于时间序列预测,最简单的模型将是始终输出零的模型,但这并不“合理”。因此,下一个最简单的将是上述两个之一,任何一个都是一个好的开始。
最后,您还可以从对整个开发工作进行时间限制开始,然后分配前 5-10%(或任何合理的数字——我会使用接近 5% 甚至 2% 的东西,而不是 10%)建立这个简单的基准。这允许进行一些调整,但可以防止您过度设计旨在仅作为简单基准的东西。
如果该技术的最佳实践应用需要它,您应该调整模型。基线需要得到有效实施才能有意义。
超参数调整可以产生非常显着的差异,有时是最先进的方法和非竞争方法之间的差异,参见例如
Anthony Bagnall、Gavin C Cawley “关于在分类算法的经验评估中使用默认参数设置” arxiv
只需选择一个您认为不会被有经验的从业者(或审阅者 3 ;o)视为稻草人的算法,然后熟练地应用它。请记住,如果您提出的方法明显更好,那么您的基线系统越好,结果就越引人注目。
警告讲师,加文考利是我的另一个自我。
有多种类型的基线模型:
我同意(+1)Stephan Kolassa 和 Dikran Marsupial 的回答,但让我加两分钱。
您还需要考虑的是您的目标模型是什么。例如,对于分类任务,逻辑回归可能是一个很好的基准,但如果您的实际模型是逻辑回归,您显然会选择比这更简单的东西。通常的选择是一个已知可以解决此类问题的简单模型,例如 Stephan Kolassa 提到的时间序列的幼稚预测,或 NLP 任务的 LSTM 模型。如果您正在构建一个新颖的最先进模型,您将与其他最先进的模型进行基准测试。另一方面,将一个简单的基准作为健全性检查(预测均值、中位数、最常见值、最后一个值等)总是有用的,因为您的简单基准本身总是存在不好的风险。