机器算法验证 - 感知器的决策边界图 - 吾爱随笔录

感知器的决策边界图

机器算法验证机器学习神经网络 Python 决策理论感知器

2022-03-13 02:00:34

我正在尝试绘制感知器算法的决策边界，但我真的对一些事情感到困惑。我的输入实例采用形式，基本上是一个 2D 输入实例（和）和一个二进制类目标值（）[1或 0]。 $[(x_{1},x_{2}), y]$ $x_{1}$ $x_{2}$ $y$

因此，我的权重向量采用以下形式：。 $[w_{1}, w_{2}]$

现在我必须加入一个额外的偏置参数，因此我的权重向量变成向量？它是向量吗？我认为它应该是，因为一个向量只有 1 行和 n 列。 $w_{0}$ $3 \times 1$ $1 \times 3$ $1 \times 3$

现在假设我将实例化为随机值，我将如何为此绘制决策边界？这意味着在这里表示什么？是决策区域到原点的距离吗？如果是这样，我如何捕获它并使用 matplotlib.pyplot 或其 Matlab 等效物在 Python 中绘制它？ $[w_{0}, w_{1}, w_{2}]$ $w_{0}$ $w_{0}/norm(w)$

在这件事上，即使是一点点帮助，我也将不胜感激。

2个回答

感知器在每次迭代中预测输出的方式是遵循以下等式：

y_{j} = f [w^{T} x] = f [\vec{w} \cdot \vec{x}] = f [w_{0} + w_{1} x_{1} + w_{2} x_{2} + . . . + w_{n} x_{n}]

$y_{j} = f[{\bf{w}}^{T} {\bf{x}}] = f[\vec{w}\cdot \vec{x}] = f[w_{0} + w_{1}x_{1} + w_{2}x_{2} + ... + w_{n}x_{n}]$

正如你所说，你的体重包含一个偏差项。因此，您需要在输入中包含以保留点积中的维度。 $\vec{w}$ $w_{0}$ $1$

您通常从权重的列向量开始，即向量。根据定义，点积要求您转置该向量以获得权重向量，并补充该点积，您需要一个输入向量。这就是为什么在上面的等式中强调矩阵表示法和向量表示法之间的变化，因此您可以看到该表示法如何为您提供正确的维度。 $n \times 1$ $1 \times n$ $n \times 1$

请记住，这是针对您在训练集中的每个输入完成的。在此之后，更新权重向量以纠正预测输出和实际输出之间的误差。

至于决策边界，这里是我在这里找到的 scikit learn 代码的修改：

import numpy as np
from sklearn.linear_model import Perceptron
import matplotlib.pyplot as plt

X = np.array([[2,1],[3,4],[4,2],[3,1]])
Y = np.array([0,0,1,1])
h = .02  # step size in the mesh


# we create an instance of SVM and fit our data. We do not scale our
# data since we want to plot the support vectors

clf = Perceptron(n_iter=100).fit(X, Y)

# create a mesh to plot in
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))

# Plot the decision boundary. For that, we will assign a color to each
# point in the mesh [x_min, m_max]x[y_min, y_max].
fig, ax = plt.subplots()
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

# Put the result into a color plot
Z = Z.reshape(xx.shape)
ax.contourf(xx, yy, Z, cmap=plt.cm.Paired)
ax.axis('off')

# Plot also the training points
ax.scatter(X[:, 0], X[:, 1], c=Y, cmap=plt.cm.Paired)

ax.set_title('Perceptron')

产生以下情节：

在此处输入图像描述

基本上，这个想法是预测覆盖每个点的网格中每个点的值，并使用适当的颜色绘制每个预测contourf。

最近我试图实现同样的事情，但太困惑如何用三个权重绘制决策边界图。并且基于其他解决方案，我编写了 python matplotlib 代码来绘制分类两个类的边界线。 $w_0,w_1,w_2$

def plot_data(self,inputs,targets,weights):
    # fig config
    plt.figure(figsize=(10,6))
    plt.grid(True)

    #plot input samples(2D data points) and i have two classes. 
    #one is +1 and second one is -1, so it red color for +1 and blue color for -1
    for input,target in zip(inputs,targets):
        plt.plot(input[0],input[1],'ro' if (target == 1.0) else 'bo')

    # Here i am calculating slope and intercept with given three weights
    for i in np.linspace(np.amin(inputs[:,:1]),np.amax(inputs[:,:1])):
        slope = -(weights[0]/weights[2])/(weights[0]/weights[1])  
        intercept = -weights[0]/weights[2]

        #y =mx+c, m is slope and c is intercept
        y = (slope*i) + intercept
        plt.plot(i, y,'ko')

其它你可能感兴趣的问题

上一篇glmnet 如何处理过度分散？下一篇预测区间=可信区间？