在论文A Simple Neural Attentive Meta-Learner中，作者在第 3.1 节之前提到：
我们保留 SNAIL 跨越情节边界的内部状态，这允许它具有跨越多个情节的记忆。观察结果还包含指示情节终止的二进制输入。
据我所知，SNAIL 使用时间卷积来聚合上下文信息，因果注意力从中学习提取特定的信息。时间卷积似乎没有保持任何内部状态，他们在本文之后使用的注意力机制也没有。这让我想知道：“蜗牛的内部状态是什么？”
简单神经注意力元学习器（SNAIL）的内部状态是什么？
人工智能
深度学习
强化学习
元学习
2021-10-24 12:27:42
1个回答
以上是我的理解，如有错误欢迎指出。
当开始一个新的情节时（但仍然在同一个任务中），SNAIL 不会清除它的批次。相反，它根据上一集的当前观察和观察-动作对做出决策。通过这种方式，它保留了上一集的知识，从而在测试时间内实现了少镜头学习。