我正在使用深度神经网络来解决回归问题。我拥有的数据集向右倾斜,对于线性回归模型,我通常会执行对数转换。我应该对 DNN 应用相同的做法吗?
具体来说,我很好奇偏斜数据如何影响 DNN 的回归,如果它是负面的,那么应用于线性回归模型的相同方法是否是修复它的正确方法?我找不到任何关于它的研究文章,但如果您知道任何文章,请随时在您的答案中链接它们!
我正在使用深度神经网络来解决回归问题。我拥有的数据集向右倾斜,对于线性回归模型,我通常会执行对数转换。我应该对 DNN 应用相同的做法吗?
具体来说,我很好奇偏斜数据如何影响 DNN 的回归,如果它是负面的,那么应用于线性回归模型的相同方法是否是修复它的正确方法?我找不到任何关于它的研究文章,但如果您知道任何文章,请随时在您的答案中链接它们!
严格来说理论上它对 DNN 没有影响,我今天在这里回答了,我说:
原因如下:我们已经在数学上知道 NN 可以逼近任何函数。所以假设我们有输入 X。X 是高度相关的,而不是我们可以应用去相关技术。主要的是,你会得到具有不同数字表示的 X`。NN 很可能更难以学习映射到输出 y。但是在理论上,您仍然可以更改架构,训练更长时间,您仍然可以获得相同的近似值,即准确性。
现在,Theory 和 Praxis 在 Theory 上是相同的,但在 Praxis 上是不同的,我怀疑这种架构调整等在现实中的成本会更高,具体取决于数据集。
但我想补充另一个观点:收敛速度。从理论上讲,你甚至不需要[batch normalization]来提高性能(你可以调整权重和偏差,你应该得到相同的结果)但我们知道进行这种转换对 NN 有很大的好处
给你总结一下:是的,我有经验在哪里有所作为,在哪里没有。你不能指望理论结果说偏斜是坏的