输入门神经网络如何通过传播预测语言模型中下一个单词的错误率来训练要记住的内容？它如何帮助它了解它是否记住了正确的数据？

我想也许可以启发式地这样做。例如，当完整的句子是 -

“你需要尽你所能，保持在同一个地方。如果你想去别的地方，你必须跑至少两倍的速度！”

语言模型的输入是 -

“你需要尽你所能，保持在同一个地方。如果你想去别的地方，你必须”

但是它为下一个单词输出“go”而不是“run”我可以看到它忘记了并且没有更早地保存“running”这个词。所以在这种情况下，我可以取下一个单词“run”的词干并在句子中向后搜索，看看它忘记（或没有保存）“running”单词的位置，然后我可以惩罚 NN并像那样训练他们。

你怎么看？我在这里想念什么？