假设我们有一个训练集. 因此所有数据都在和. 如果我们建立了一个决策树模型,它就无法返回超出给定范围(使用输入特征的任意组合)。因此,决策树不能根据预测值进行外推。神经网络回归模型能否外推并返回外的值训练集中的范围?它是否取决于激活函数?
以下是我试图回答这个问题的尝试。
模型的输出神经元只是, 在哪里- 前一个隐藏层上第 i 个神经元的权重,以及- 该神经元的激活函数值。如果我们使用逻辑函数,那么. 因此最大可能, 假设所有在1左右达到最大值。但是如果我们使用线性激活函数,它对输出值没有限制() 模型将返回, 可以在外面训练集的范围。
我的推理是正确的还是有一些错误?