什么是二分法?

数据挖掘 机器学习 神经网络
2021-09-23 01:07:52

我目前正在阅读:

斯蒂芬·何塞·汉森:减数分裂网络,1990 年。

我偶然发现了这个:

可以根据学习模型中的资源或自由度来精确地描述搜索问题。如果学习系统要执行的任务是分类,那么可以根据系统在特征空间中二分刺激点的能力来分析系统。

二分法能力:网络容量使用线性扇入或超平面类型的神经元,我们可以表征具有阈值输出的单元网络中固有的自由度。例如,对于线性边界,考虑 4 个点,它们很好地分布在二维特征空间中。正好有 14 个线性可分二分法可以用 4 个目标点形成。然而,实际上有 16 个 (24) 二维中 4 个点的可能二分法因此,可线性实现的可能二分法或任意类别的数量可以被认为是线性网络的容量 ķ 尺寸与 n 例子。

在这种情况下,什么是“二分法”?

(附带问题:什么是扇入型神经元?)

2个回答

在机器学习上下文中,二分法只是将一个集合拆分为两个互斥的子集,它们的并集是原始集合。您引用的文本中的要点是,对于四个点,线性边界不能形成所有可能的二分法(即,它不会破坏集合)。例如,如果四个点排列在正方形的角上,则可以使用线性边界来创建所有可能的二分法,除非它不能生成将沿对角线的两个点与其他两个点分开的边界(反之亦然)反之亦然),正如您在自己的回答中指出的那样。

这似乎是关于 2 类的分类。要了解 14 的来源,只需尝试所有 4 点属于两个类别之一的情况:

#!/usr/bin/env python

"""Print all cases of 4 points being in one of two classes in 2D."""


def print_pattern(pattern):
    """Print four points in 2D."""
    print("%s\t%s" % (pattern[0], pattern[1]))
    print("%s\t%s" % (pattern[2], pattern[3]))


get_bin = lambda x, n: format(x, 'b').zfill(n)

# 16 possible cases how 4 points can belong to 2 classes
for i in range(16):
    bin_ = get_bin(i, 4)
    print_pattern(bin_)
    print("-"*60)

这使:

0    0
0    0
------------------------------------------------------------
0    0
0    1
------------------------------------------------------------
0    0
1    0
------------------------------------------------------------
0    0
1    1
------------------------------------------------------------
0    1
0    0
------------------------------------------------------------
0    1
0    1
------------------------------------------------------------
0    1        --- Not linearly seperable
1    0
------------------------------------------------------------
0    1
1    1
------------------------------------------------------------
1    0
0    0
------------------------------------------------------------
1    0        --- Not linearly seperable
0    1
------------------------------------------------------------
1    0
1    0
------------------------------------------------------------
1    0
1    1
------------------------------------------------------------
1    1
0    0
------------------------------------------------------------
1    1
0    1
------------------------------------------------------------
1    1
1    0
------------------------------------------------------------
1    1
1    1
------------------------------------------------------------

我仍然不太确定二分法是什么,但这似乎是答案的一部分。