所以我是深度学习的新手，我遇到了激活函数，它给出一个输出并将其与标签进行比较，如果它是错误的，它会调整它的权重，直到它给出与训练数据集中特定输入的标记数据相同的输出。
x1 x2 x3 y
10 15 20 0
20 7 10 1
5 10 4 0
所以想象这是一个示例训练集，我们将这些输入发送到激活函数，对于第一个输入，它返回正确的输出 (0)。
但是对于第二个输出，它再次返回 0，因此调整权重直到激活函数返回 1。
所以现在我的疑问是，如果新的更新权重为第三个输入返回错误的输出，它的权重会再次改变，但是是否会出现这些权重不能满足先前测试的输入的情况，例如第一个输入在这种情况下。
新的权重是否有可能为第一个输入返回 1，这是错误的？
在线性回归、逻辑回归和多层感知器等参数模型中，权重会根据模型输出与真实标签之间的“差异”进行更新。
更准确地说，权重是使用梯度下降/反向传播过程更新的。它由两部分组成：前传和后传。
对于给定的观察（或一组观察），前向传递是关于为模型提供观察并输出结果a。然后将此输出“a”与实际值标签y进行比较。使用一些成本函数度量（例如用于回归目的的绝对误差或平方误差，用于分类目的的交叉熵......），然后我们可以计算j(y,a)，它是输出和实际值之间的误差。
我们现在可以运行反向传递，它是关于计算成本函数相对于逻辑回归/神经网络中的任何权重/偏差系数的导数。我们可以更新系数，例如：
其中 alpha 是学习率。因此，为了回答您的问题，权重在达到预期值之前不会更新。我们只是试图通过运行梯度下降程序来达到成本函数表面的最小值。
给定采样的三行，x1 和 x2 看起来好像可以确定 y，而 x3 可以不考虑，或者换句话说，x1 和 x2 似乎与 y 相关。
由于我们不讨论任何语义，不知道这些数字是什么意思，新的训练数据会使模型无效，甚至最终使 y 实际上无法预测。
这只是一个假设，不能保证，所有 x1、x2 和 x3 都存在显着相关性，这些数据点足以创建一个模型，该模型可用于以足够的精度预测 y。