OP 在探索各种不同的技术方面做得很好。正如所评论的，鉴于响应变量是 Gamma 分布的，因此考虑 GLM 和/或 GAM 用于 Gamma 分布变量是有意义的。特别是对于 GAM 的使用，如果计算负担看起来太多，我们可能要考虑限制 GAM 使用的基函数（在pyGAM此处使用的情况下，通过设置s(..., n_splines=X)whereX小于默认值来实现。$20$

纠正的要点是使用评估每种方法的误差。通过交叉验证进行的简单随机重采样为我们提供了“插值”而不是“外推”性能的指示。在这里，给定，我们专注于预测；因此，在我们的验证集中$x_e = \{1, \dots, 10\}$$x_e =0$$x_e = 1$$x_e =\{2, \dots, 10\}$在我们的训练集中。请注意，样本内错误对于外推任务具有相当大的误导性；没有“过度拟合”本身，因为验证集和训练集没有指代相同的样本/总体。就此而言，我们将简单模型（弹性网络回归和贝叶斯岭回归）作为我们表现最佳的例程这一事实并不令人惊讶。当外推时，大多数赌注都关闭了（例如，请参阅 CV 线程：外推有什么问题？）并且通常简单的方法胜过复杂的方法（例如，请参阅 CV 线程Best method for short time-series）。

最后一点，对我们的性能指标的可变性进行估计总是谨慎的。如果可能的话，我们应该留出一些观察结果，将我们的候选模型拟合到剩余的数据中，并在我们留出的数据中评估模型。这应该重复多次。实际上，所描述的是用于模型选择的嵌套交叉验证；唯一特别的是，对于每个循环，保留集是这样的。（再一次）CV 有一个很好的线索：模型选择的嵌套交叉验证和模型选择和交叉验证：正确的方法$x_e = 1$. 简而言之，外部循环将用于评估特定模型的性能（例如 Ridge 回归），而内部循环将用于选择最佳模型（Ridge 情况下的正则化参数）。嵌套 CV 的简化且非常简洁的 Python 示例如下：$\lambda$

myS = cross_val_score(GridSearchCV(linear_model.ElasticNet(), param_grid, cv=5), 
                      myX, myY, cv=5)
print("CV scores: ", myS)
print("Mean CV scores & Std. Dev.: {:.3f} {:.3f}".format(myS.mean(), myS.std()))

线性模型非常适合外推，因为它们不会做出可能无法在训练集之外泛化的过于复杂的假设。不幸的是，这也意味着他们无法充分利用外推时未更改的其他功能的全部潜力。

由于仅针对输入进行外推，我们可以将所有输入拆分为向量和矩阵。$x_e$$X$$x_e$$X_{other}$

一种方法是根据的值添加更多功能。这些可能是这些特征、平方值、对数等之间的交互。这可能会很好地工作，特别是如果您对每个特征应该如何对输出做出贡献有一个很好的想法。$X_{other}$

还可以构建一个自定义模型，它仅适合关于使用更复杂的关系。这是一个使用 keras 构建的示例模型，该模型适合具有 4 个隐藏层的神经网络，然后将最后一个隐藏层与 x_e 连接，使用带有 softplus 激活的最后一个层（以确保预测为正）。使用 keras$x_e$$X_{other}$$X_{other}$$x_e$

from keras.layers import Input, Dense, Lambda, concatenate
from keras.models import Model
import keras.backend as K
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler


def loss(y_true, y_pred):
    return -K.log(1/y_pred) + y_true/y_pred


all_inputs = Input(shape=(n_inputs,))

# Only the first feature will be used for extrapolation
x_e = Lambda(lambda x: x[:,:1], output_shape=(1,))(all_inputs) 

x_other = Lambda(lambda x: x[:,1:], output_shape=(n_inputs-1,))(all_inputs)
hidden_1 = Dense(20, activation='relu')(x_other)
hidden_2 = Dense(20, activation='relu')(hidden_1)
hidden_3 = Dense(10, activation='relu')(hidden_2)
hidden_4 = Dense(20, activation='relu')(hidden_3)

merged = concatenate([hidden_3, x_e])
preds = Dense(1,activation='softplus')(merged)

model = Model(inputs=all_inputs, outputs=preds)
model.compile(optimizer='adam', loss=loss, metrics=['mse'])

model = Pipeline([
        ('scale', StandardScaler()),
        ('keras', model),
])

使用与此类似的模型（我为我的特定问题添加了一些自定义），我能够获得 0.653 的测试损失。到目前为止，该模型似乎也是训练集中插值的最佳模型。