最近，我一直关注在深度学习中实现固定效应和随机效应（来自计量经济学）。
看了一些文章，发现大部分只是用了基于RNN的神经网络和panel data。它们不被认为是固定效应或随机效应等面板数据结构。
据我所知，在 LSTM 的情况下，一个单元格中的权重对于所有小组主题都是相同的。没有考虑组平均值。从面板数据分析的角度来看，这似乎是不合适的。我认为在深度学习中应该考虑固定效应、随机效应或多层次模型。虽然有一些文章将这些模型应用于深度学习（https://arxiv.org/pdf/1702.06512.pdf，http://willwolf.io/2017/06/15/random-effects-neural-networks/），大多数数据科学家似乎认为它不重要或没有必要。
所以我想听听专家关于在深度学习中使用固定或随机效应的意见。
谢谢你。
这是个有趣的问题。已在线性模型世界（类似 OLS）中开发了固定效应。因此，高度非线性世界（如 NN）中的扭曲可能会有所不同。据我所知，NN 在计量经济学中还没有太大的影响。因此，似乎仍然需要弥合一些经验性概念。
让我们考虑一下固定效应（FE）。FE 使用 FE 应用到的每个主题的“变化范围内”来估计某些东西。那么在变化范围内推导这个问题（从时间 t=1 到 2 的变化，例如 x2i - x1i）并手动将其插入 NN 有什么问题。请记住，没有任何隐藏层的 NN 只是一个线性模型。如果你做这样的事情，你可能不需要 LSTM 层，因为与此设置相关的只是从 t1 到 t2 的变化。我猜，正常的密集层就可以了。
另一种选择是使用“虚拟 FE”，因此只需为每个受固定效果控制的对象插入一个虚拟对象。这种数据表示可能在 LSTM 设置中运行良好。但是，我认为在这种情况下我们不能严格地说是固定效应模型，因为 - 根据 NN 的性质 - 每个主题都没有“单独的常数项”（如在 OLS 中）。但这真的是个问题吗？我不这么认为，因为你最终仍然要做的是，分别控制每个主题。
一个更基本的问题是你将如何处理结果。经济学中的 FE 主要用于因果建模（FE 应确保满足某些模型假设）。在 NN（通常是预测建模设置）中，“系数”（权重）太多，无法做出有意义的因果陈述。所以我想这不是关于 FE 的严格计量经济学含义，而是更多关于 NN 中 FE 的充分控制。在这种情况下，为每个主题添加假人应该是一个可行的解决方案。