在元学习中,episode 一词是什么意思?

机器算法验证 元学习
2022-03-18 17:08:43

回想一下元学习,我们有一个元集,它是数据集的数据集:

Dmetaset={Dn}n=1N

其中是数据集(或通常是任务)。通常定义为从用于回归的目标函数或用于分类任务的 N 个类中采样的数据。通常这些单独的数据集被分成一个支持集(训练集)和一个查询集(测试集)。DnDn

我已经看到元学习中使用的术语情节,但我并不清楚。有两种可能的定义:

  1. 1 集意味着采样 1 个单个数据集Dn
  2. 1 集意味着对 M 个数据集进行采样。即对一批任务进行抽样

哪一个?


参考:

2个回答

元学习进行元分析:它着眼于多种分析(这些分析又使用不同的假设、数据集和方法),并尝试通过一些概括甚至元模型来解释这些分析。长期以来,学术界一直使用这种一般思想来尝试概括和了解一个复杂的主题。在此设置中,情节将是分析之一以及相关的数据集和方法。

机器学习社区中的元学习需要许多数据集、方法、假设和结果,然后构建一个模型来解释所有这些结果。Omohundro (1996)这样的早期工作将剧集视为从一个更大的数据集中抽取的样本,每个样本都被建模。Vilalta 和 Drissi (2002)(在元学习调查中)指出假设(又名“偏差”)也是分析的一部分。然后以某种方式对生成的模型进行平均或组合,从而产生元模型。Sun et al (2017)的这篇论文等最近的工作使用了一种概括,将完全不同的数据集、假设和模型的结果结合起来。最近一个优秀的调查由 Hospedales、Antoniou、Micaelli 和 Storkey (2020)进行。

从这些中,我们可以看到一个情节是(数据集、方法、假设、估计模型/结果)的元组,然后成为元分析中的观察。

在我看来,一个情节的正确定义应该是一批任务(通常称为元批次)。对于回归,如果我们有来自某个族的 100 个(例如,正弦函数),那么 1 集大小为 16 的元批量应该是 16 个函数,每个函数都有一个支持集和一个查询集。fi

对于分类,情节仍然是(元)一批任务。在这种情况下,任务是 N-way K-shot 分类任务。例如,5-way,5-shot 将有 25 个支持集的示例,如果 Keval 为 15,则查询集有 75 个示例。在这种情况下,如果我们的元批量大小为 16,那么我们对 16 个任务进行采样,每个任务都有 25+75 个示例。所以一个元批次总共有 16*100 个示例。

事实上,根据这个定义,第 1 集与迭代步骤相同。当元批量大小为 1 时,一个任务就是一个插曲。

我无法想象为什么我们会将一集定义为一项任务,我曾在某个时候想到过。在这种情况下,我们对任务和情节使用相同的词。但是在每次迭代中都会完全发生一个学习片段。

不过,我宁愿根本不使用这个词,因为它似乎是多余的 + RL 已经使用了这个词,这在我看来增加了混乱。