梯度下降

梯度下降的思想是遍历一个函数 $f_{LR}(\textbf{w})$ 并找到一组 a 值的局部最大值或最小值 $\textbf{w}$. 梯度下降是一个迭代过程。在每次迭代中，您将根据当前的一组值来评估函数。然后，您将对该函数对这些值求导，以查看每个值对函数斜率的贡献程度。然后，我们可以按比例更改这些值以向这个最佳点移动。

梯度下降方程描述为

$\textbf{w}^{(k+1)} = \textbf{w}^{(k)} - \rho \frac{\partial f_{LR}(\textbf{w})}{\partial \textbf{w}^{(k)}}$

在哪里$\rho$是学习率，通常很小。一个常数，它决定了我们想要改变我们正在优化的值的速度。

初始化值

有很多方法可以初始化这些值。我们可以将它们全部设置为零，也可以随机设置。

然后你可以在你的数据集中随机抽取一个实例$x_i$和$y_i$并计算导数

$\frac{\partial f_{LR}(\textbf{w})}{\partial \textbf{w}^{(k)}} = \textbf{x}_i (-y_i \frac{e^{-y_i \textbf{x}_i \textbf{w}}}{1 + e^{-y_i \textbf{x}_i \textbf{w}}})$.

计算完之后，您可以将结果放入梯度下降方程并更新所有权重。

然后你继续经历这个过程，直到你的体重 $\textbf{w}$收敛到一个值，或满足某些其他条件。您可能希望使用一些迭代计数器来限制您的算法，以避免由不收敛的权重引起的无限循环。

梯度下降代码

这是一个使用梯度下降沿逻辑回归损失函数训练权重的示例。

import numpy as np

def update_weights(x_i, y_i, w):
   p = 0.8                  # The learning rate
   yhat = predict(x_i, w)   # The predicted target
   error = y_i - yhat       
   return w + p * (y_i - yhat) * x_i  # Update the weights

def predict(x_i, w):
   return 1/(1+np.exp(-1 * np.dot(w.T, x_i)))

def train_weights(x, y, verbose = 0):
   w = np.zeros((x.shape[1],))
   w_temp = np.zeros((x.shape[1],)) 

   epoch = 0
   while epoch <= 1000:
      for i, x_i in enumerate(x):
         w = update_weights(x_i, y[i], w)

      pred = 1/(1+np.exp(-1 * np.dot(x, w)))
      error = np.sum(pred - y)

      pred[pred < 0.5] = 0
      pred[pred >= 0.5] = 1
      epoch += 1

      if verbose == 1:
         print('------------------------------------------------')
         print('Targets: ', y)
         print('Predictions: ', pred)
         print('Predictions: ', pred)
         print('------------------------------------------------')

      # Check if we have reach convergence
      if np.sum(np.abs(w_temp - w)) < 0.001:
         print(epoch)
         print(error)
         return w
      else: 
         w_temp = w
  return w

# Create some artificial database
x = np.zeros((4,3))
y = np.zeros((4,)) 
x[0] = [1, 1, 1]
x[1] = [1, 2, 2]
x[2] = [1, 10, 10]
x[3] = [1, 11, 11]
y[0] = 0
y[1] = 0
y[2] = 1
y[3] = 1

print(x)
print(y)

# Train the weights
w = train_weights(x, y, 0)
print('Trained weights: ', w)

# Get predicitons
pred = 1/(1+np.exp(-1 * np.dot(x, w)))
error = np.sum(pred - y)   
pred[pred < 0.5] = 0
pred[pred >= 0.5] = 1
print('Predictions: ', pred)