考虑nn.Linear(2,3)如下所示的层变换。它使用 2x3 标量权重矩阵为输出中的每个标量元素创建加权和。
现在假设我想对一维向量(例如词嵌入)进行操作,而不是标量。所以在这种情况下a,andb是向量,权重w都是方阵。
nn 中的一种预建层类型可以实现这一点(对于线性或卷积)吗?或者有什么方法可以转换我的数据以使用标准图层类型完成等效的操作?
谢谢!
编辑:我知道对于像示例这样的给定层,我可以只做矩阵运算的所有排列并自己存储它们的权重。我想知道是否有更好的方法。
编辑:好的,我认为我想要的东西不存在,但让我试着澄清一下,希望可能有一些类似的操作......
忽略偏置向量nn.Linear(2,3)正在执行以下操作:

我正在寻找的是与此类似的情况,其中 a、b、c、... 是向量,权重是这些向量的线性变换。如果我的符号在这里关闭,我深表歉意,但是写成行向量:
这意味着我们需要一组 3 维权重,而不是 2 维权重nn.Linear。同样,我想这完全是一个不同的操作,但我想知道这种东西是否有名称,或者是否有某种原因通常不需要它(例如,对数据进行一些真正等效的转换) .

