首先,我们有一个分类任务。
所以我们使用典型的softmax交叉熵进行分类。
目前课程学习的实施情况如下。
- 首先我们训练我们最好的神经网络版本
- 在最后一个时期,我们得到所有实例的所有交叉熵。因此,较小的交叉熵可以更好地分类,而较大的交叉熵则不太好。
- 然后我们根据交叉熵对实例进行排序。
- 然后我们开始按照课程学习理论的建议从易到难训练实例
请注意,我们已经尝试了各种步骤和重复。因此,在一个示例中,我们选取了前 200 个批次,并在进入下一个批次之前对其进行了两次训练,依此类推,直到一个 epoch 完成。
在另一个示例中,我们选取前 10 个批次并只训练它们一次,然后是接下来的 10 个和接下来的 10 个,依此类推,直到 epoch 结束。
迄今为止的所有实验都得出结论,神经网络在开始时具有相对较好的准确性,随着更困难的实例的出现,这种情况会变得更糟。最终的精度比预期的要差得多,此外最大精度仍然很差。
为什么这个课程学习不起作用?有什么遗漏吗?