机器算法验证 - 测量多个因变量的预测准确性 - 吾爱随笔录

机器算法验证回归机器学习偏最小二乘法

2022-04-13 03:30:20

在机器学习和统计学中，有很多方法可以估计预测模型的性能。例如，分类精度、ROC 曲线下面积……用于分类或 $R^2$ 用于回归模型。

为了评估多元多元回归、偏最小二乘回归或更复杂的预测模型（其中因变量可以是混合类型）的预测准确性，是否对多个因变量的此类度量进行了推广？

1个回答

在机器学习中，许多算法通过某种形式的容量控制（正则化）直接最小化损失函数。通过使用被最小化的损失函数，这可以直接衡量分类器对未来数据的性能。如果您正在处理的特定问题可以在优化框架中构建，那么度量可能会自然地从损失函数中消失。例如，本文中的 Kristin Bennett表明 PLS 可以表述为

min_{w} {‖ X - y w^{'} ‖}_{2}, s . t . w^{'} w = 1,

$\min_w \left\| \bf{X} - \bf{y}\bf{w}' \right\|_2, \; s.t. \bf{w}'\bf{w} = 1,$ 他们后来显示了通常的最小二乘损失的界限。更复杂的预测模型可以用复合损失函数来表述——例如，参见Mike Jordan 的这些幻灯片。

其它你可能感兴趣的问题