$\sum_i (y_i- \hat y_i)^2$确实是凸的$\hat y_i$. 但如果$\hat y_i = f(x_i ; \theta)$它可能不是凸的$\theta$，这是大多数非线性模型的情况，我们实际上关心的是$\theta$因为这就是我们优化成本函数的原因。

例如，让我们考虑一个具有 1 个隐藏层的网络$N$单位和线性输出层：我们的成本函数是

$$g(\alpha, W) = \sum_i \left(y_i - \alpha_i\sigma(Wx_i)\right)^2$$ 在哪里$x_i \in \mathbb R^p$和$W \in \mathbb R^{N \times p}$（为了简单起见，我省略了偏见项）。当被视为一个函数时，这不一定是凸的$(\alpha, W)$（根据$\sigma$：如果使用线性激活函数，那么这仍然可以是凸的）。我们的网络越深，凸的东西就越少。

现在定义一个函数$h : \mathbb R \times \mathbb R \to \mathbb R$经过$h(u, v) = g(\alpha, W(u, v))$在哪里$W(u,v)$是$W$和$W_{11}$设置$u$和$W_{12}$设置$v$. 这使我们能够可视化成本函数，因为这两个权重不同。

下图显示了 sigmoid 激活函数$n=50$,$p=3$， 和$N=1$（所以是一个非常简单的架构）。所有数据（两者$x$和$y$) 是独立同住者$\mathcal N(0,1)$，在绘图函数中没有变化的任何权重也是如此。你可以在这里看到缺乏凸性。

这是我用来制作这个图的 R 代码（尽管现在一些参数的值与我制作它时的值略有不同，因此它们不会相同）：

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))