该博客涵盖了 LSTM 的基础知识。

遗忘门定义为：

$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t]+ b_f)$$

在这一点上，线性代数让我更加困惑。的语法$W\cdot [h,x]$在这种情况下令人困惑。我认为一个向量应该进入激活函数，因为输出$f$是一个向量，但上面遗忘门的语法意味着输入有$2$列因为$[h,x]$将是一个$n\times 2$矩阵

为了举例，让我们说......

$$\begin{align} W &= \begin{bmatrix} 0 & 1 \\ 2 &3 \end{bmatrix}\\ h &= \begin{bmatrix} -1 \\ 2 \end{bmatrix}\\ x &= \begin{bmatrix} 3 \\ 0 \end{bmatrix}\\ b &= \begin{bmatrix} 1 \\ -2 \end{bmatrix}\end{align}$$

谁能给出进入 sigmoid 函数的最终向量？

我认为数学是

$$\begin{bmatrix} 0 & 1 \\ 2 & 3 \end{bmatrix}\begin{bmatrix} -3 & 3 \\ 2 & 0 \end{bmatrix} + \begin{bmatrix} 1 \\ -2\end{bmatrix} = \begin{bmatrix} 2 & 0 \\ 4 & 6\end{bmatrix}+ \begin{bmatrix} 1 \\ -2\end{bmatrix} = \text{ Something wrong}$$