我有一个完全连接的网络，它接收一个用 0 填充的可变长度输入。

但是，网络似乎没有在学习，我猜输入中的大量零可能与此有关。

是否有处理全连接层中填充输入的解决方案，或者我应该考虑不同的架构？

更新（提供更多细节）：

如果要清理完整的文件路径，网络的目标：ig：

• /My document/some folder/a file name.txt > a file name
• /Hard drive/book/deeplearning/1.txt > deeplearning

限制是训练数据标签是使用文件名本身的正则表达式生成的，所以它不是很准确。

我希望通过平等对待每个单词（没有顺序信息），网络能够概括出通常保留哪种类型的单词以及通常丢弃哪种类型的单词。

然后网络接受在路径数据上训练的一系列词嵌入，并输出对应于每个词是否保留的概率的 logits。