人工智能 - 为什么我们必须在低秩双线性池中进行点积？ - 吾爱随笔录

人工智能深度学习文件汇集

2021-10-25 08:20:28

我正在阅读这篇论文Hadamard Product for Low-rank Bilinear Pooling。我明白他们想说什么，但我不知道为什么我们必须将元素乘法转换为标量（使用点积）

\begin{matrix} (2) & 1^{T} (U_{i}^{T} x \circ V_{i}^{T} y) + b_{i} \end{matrix}

$\mathbb{1}^{T}\left(\mathbf{U}_{i}^{T} \mathbf{x} \circ \mathbf{V}_{i}^{T} \mathbf{y}\right)+b_{i} \tag{2}\label{2}$

为什么我们必须将结果向量乘以一个向量？如果我们不考虑乘以那个向量，我们仍然会使用元素之间的乘法交互。

1个回答

这篇论文（我不熟悉）提出了一种新的池化方法，他们将其命名为“Low-rank Bi-linear Pooling”。因为它是一种池化方法，所以它的输出应该是某个输入空间区域上的单个值（池化的目标是对输入表示进行下采样）。他们不想使用逐元素乘法的结果向量，他们想得到一个标量。注意他们的初始公式：

\begin{matrix} (1) & f_{i} = \sum_{j = 1}^{N} \sum_{k = 1}^{M} w_{i j k} x_{j} y_{k} + b_{i} = x^{T} W_{i} y + b_{i} \end{matrix}

$f_{i}=\sum_{j=1}^{N} \sum_{k=1}^{M} w_{i j k} x_{j} y_{k}+b_{i}=\mathbf{x}^{T} \mathbf{W}_{i} \mathbf{y}+b_{i}\label{1}\tag{1}$

其它你可能感兴趣的问题