什么是老师逼?

人工智能 神经网络 机器学习 循环神经网络 定义 强迫教师
2021-11-12 19:39:57

在论文Neural Programmer-Interpreters中,作者使用了教师强制技术,但它到底是什么?

1个回答

考虑序列预测的任务,因此您要预测序列的下一个元素et给定这个序列的前面的元素et1,et2,,e1=et1:1. 教师强迫是关于强迫预测基于正确的历史(即过去元素的正确序列)而不是预测的历史(可能不正确)。更具体地说,让e^i表示i序列的第 th 个预测元素并让ei是对应的ground-truth。那么,如果你使用teacher forcing,来预测et,而不是使用e^t1:1,你会使用et1:1.

回想一下,监督学习也可以被认为是与老师一起学习。因此,表达“教师强迫”,即您强制预测基于正确的历史(教师的标签)。

当然,直觉上,教师强迫应该有助于稳定训练,因为预测不是基于嘈杂或错误的历史。

另请参阅博客文章什么是递归神经网络的教师强制?通过杰森布朗利。