为什么在机器学习中没有过多地教授功率或对数转换?

机器算法验证 回归 机器学习 数据转换
2022-02-13 15:01:13

机器学习 (ML) 大量使用线性和逻辑回归技术。它还依赖于特征工程技术(feature transformkernel等)。

为什么在 ML 中没有提到variable transformation(例如)?power transformation(例如,我从未听说过对特征进行 root 或登录,他们通常只使用多项式或 RBF。)同样,为什么 ML 专家不关心因变量的特征转换?(例如,我从未听说过对 y 进行对数变换;他们只是不变换 y。)

编辑:也许问题不是肯定​​的,我真正的问题是“对变量的功率转换在 ML 中不重要吗?”

3个回答

Kuhn and Johnson所著的Applied Predictive Modeling一书是一本备受推崇的实用机器学习书籍,其中很大一部分是关于变量转换的,包括 Box-Cox。作者声称,如果特征具有对称和单峰分布,许多机器学习算法会更好地工作。像这样转换特征是“特征工程”的重要组成部分。

从我自己的角度来看,我经常对响应变量的预测分布感兴趣,而不仅仅是条件均值,在这种情况下,最好使用更正确地表示目标分布的可能性。例如,我喜欢使用核化线性模型而不是(比如说)支持向量回归,因为如果我愿意,我可以使用泊松似然。由于许多机器学习人员都是贝叶斯主义者,我怀疑使用不同的可能性似乎比转换更优雅(选择适当的可能性通常是第一步)。

这是我后来的想法。

我认为这是因为 ML 主要是处理分类,分类不需要转换 y(y 是分类的)。ML 通常处理大型自变量(例如 NLP 中的数千个),逻辑回归不需要正态性;我认为这就是为什么他们出于速度考虑而不使用 Box-Cox 功率变换的原因。(注意:我对电源转换不熟悉。)