远程监督、自我训练、自我监督学习和弱监督有什么区别吗?

机器算法验证 机器学习 术语 无监督学习 半监督学习
2022-03-23 08:28:21

从我读到的:


远程监督

A Distant supervision algorithm usually has the following steps: 
1] It may have some labeled training data 
2] It "has" access to a pool of unlabeled data 
3] It has an operator that allows it to sample from this unlabeled 
   data and label them and this operator is expected to be noisy in its labels 
4] The algorithm then collectively utilizes the original labeled training data
    if it had and this new noisily labeled data to give the final output.

自我训练

在此处输入图像描述


自学 Yates、Alexander 等人。“Textrunner:网络上的开放信息提取。”人类语言技术论文集:计算语言学协会北美分会年会:演示。计算语言学协会, 2007 年。):

学习者分两步操作。首先,它会自动将自己的训练数据标记为正面或负面。其次,它使用这些标记数据来训练朴素贝叶斯分类器。


Weak Supervision (Hoffmann, Raphael, et al. “Knowledge-based Weak Supervisors for Information Extraction of Overlap Relations.” 第 49 届计算语言学协会年会论文集:人类语言技术-第 1 卷。计算语言学协会,2011 .):

一种更有前途的方法,通常称为“弱”或“远程”监督,通过启发式地将数据库的内容与相应的文本匹配来创建自己的训练数据。


对我来说这一切听起来都一样,除了自我训练似乎略有不同,因为标注启发式是经过训练的分类器,并且在标注阶段和分类器训练阶段之间存在一个循环。然而,Yao、Limin、Sebastian Riedel 和 Andrew McCallum。没有标记数据的集体跨文档关系提取。 ” 2010 年自然语言处理经验方法会议论文集。计算语言学协会,2010 年。声称远程监督 == 自我训练 == 弱监督。

另外,还有其他同义词吗?

1个回答

您给出的所有不同术语都有两个方面:1] 获取训练数据的过程 2] 训练或分类器的算法f

无论如何获得训练数据的算法都是有监督的。远程监督、自学习、自监督或弱监督的区别纯粹在于如何获得训练数据。f

传统上,在任何关于监督学习的机器学习论文中,人们都会发现该论文隐含地假设训练数据是可用的,并且就其价值而言,通常假设标签是精确的,并且标签中没有歧义给训练数据中的实例。然而,通过远程/弱监督论文,人们意识到他们的训练数据具有不精确的标签,他们通常希望在工作中强调的是,尽管使用不精确的标签存在明显的缺点(并且他们可能有其他算法方式),但他们获得了良好的结果克服标签不精确的问题,通过额外的过滤过程等,通常论文想强调这些额外的过程是重要和有用的)。这就产生了“弱”这个词 或“远”表示训练数据上的标签不精确。请注意,这不一定会影响分类器的学习方面。这些人使用的分类器仍然隐含地假设标签是精确的,并且训练算法几乎没有改变。

另一方面,从这个意义上说,自我训练有些特殊。正如您已经观察到的,它从自己的分类器中获取标签,并有一些反馈循环进行校正。通常,我们在“归纳”算法的稍大范围内研究监督分类器,其中学习的分类器是从整个数据的训练数据中做出的归纳推理。人们研究了另一种形式,我们称之为转导推理,一般的归纳推理不是算法的输出,而是算法共同将训练数据和测试数据作为输入,并在测试数据上生成标签。然而,人们想为什么不在归纳学习中使用转导推理来获得具有更大训练数据的分类器。

希望我没有进一步让您感到困惑,如有必要,请随时发表评论并要求更多澄清。

[1] 可能有用 - http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/pdf2527.pdf