我正在使用非线性优化器（例如 BOBYQA）来训练具有 10-20 个参数的模型。碰巧有些参数具有很高的相关性。粗略地说，假设您正在拟合参数$a,b$在这样的函数中：

$f(x)=a\frac{x}{1+|x|}-b\frac{x^2}{1+|x|^2}$

对参数变化的响应$a,b$远大于对变化的响应$a-b$. 如果我“旋转参数”以将粗响应与精细响应隔离开来，鲍威尔的非线性优化算法（如 BOBYQA、NEWUOA 等）的性能会提高吗？

也就是说，如果不是优化，非线性优化器会表现得更好吗$a,b$在上面的函数中，我会优化参数$\alpha,\beta$像这样的功能：

$g(x)=\alpha(\frac{x}{1+|x|}+\frac{x^2}{1+|x|^2})+\beta(\frac{x}{1+|x|}-\frac{x^2}{1+|x|^2})$

当然，真实模型更复杂，我想知道改变参数以最小化相关性是否有机会改进任何东西。