线性嵌入层必须只是一个没有激活的密集层的花哨名称。“线性”意味着没有激活（激活就是身份）。嵌入是输入数据的向量表示（例如词嵌入）的概念。我相信第二个向量中的元素只是按元素添加到第一个向量中。

论文中提到：

局部归一化层对局部邻域周围的特征图进行归一化，使其具有单位范数和零均值。它导致特征图对照明和对比度的差异具有鲁棒性。

他们获取模型的每个部分并分别对其进行规范化。

至于将它们组合起来，正如您所评论的那样，以捕获最显着的特征，不完整的表示不需要非线性。