我正在研究一个个人项目的回归问题，我注意到随机森林的性能明显优于我正在使用的当前神经网络架构。（测试数据上相当深的 RF 大约为 0.7 R2，即使是训练数据上的 2 个隐藏层 NN 大约为 0.2-3 R2）。这是否意味着我的问题需要更深入、更复杂的模型？更重要的是，根据我的理解，RF 在每个决策节点使用随机特征组合，这是否意味着我应该尝试通过组合我的一些特征来提取特征，也许类似于自我注意？还是我深深误解了我的问题？我考虑过也许我需要一个非常不同的损失函数，但我认为我可以从这个巨大的差异中提取一些见解。

对于上下文，我有 15 个自变量作为特征，此外还有大约 500 个线性或非线性组合，我知道根据我阅读的论文和领域知识可能具有一定的意义。