在论文Neural Programmer-Interpreters中,作者使用了教师强制技术,但它到底是什么?
什么是老师逼?
人工智能
神经网络
机器学习
循环神经网络
定义
强迫教师
2021-11-12 19:39:57
1个回答
考虑序列预测的任务,因此您要预测序列的下一个元素给定这个序列的前面的元素. 教师强迫是关于强迫预测基于正确的历史(即过去元素的正确序列)而不是预测的历史(可能不正确)。更具体地说,让表示序列的第 th 个预测元素并让是对应的ground-truth。那么,如果你使用teacher forcing,来预测,而不是使用,你会使用.
回想一下,监督学习也可以被认为是与老师一起学习。因此,表达“教师强迫”,即您强制预测基于正确的历史(教师的标签)。
当然,直觉上,教师强迫应该有助于稳定训练,因为预测不是基于嘈杂或错误的历史。
另请参阅博客文章什么是递归神经网络的教师强制?通过杰森布朗利。