乐等人。2012使用一个包含 10 亿个参数的网络来学习对没有标签的人脸、猫、行人等做出反应的神经元(无监督)。
他们的网络由三个自回归层、六个池化和归一化层构成。
他们在论文中说,
优化:我们模型中的所有参数都经过联合训练,目标是三层目标的总和。
这是否意味着同时训练了所有三个自动编码器层,还是同时训练了前三个子层(第一个自动编码器子层、第一个 L2 池化子层和第一个归一化子层)?
乐等人。2012使用一个包含 10 亿个参数的网络来学习对没有标签的人脸、猫、行人等做出反应的神经元(无监督)。
他们的网络由三个自回归层、六个池化和归一化层构成。
他们在论文中说,
优化:我们模型中的所有参数都经过联合训练,目标是三层目标的总和。
这是否意味着同时训练了所有三个自动编码器层,还是同时训练了前三个子层(第一个自动编码器子层、第一个 L2 池化子层和第一个归一化子层)?
论文提到了层和子层,并明确指出一层包括所有三个子层,所以当他们说他们同时训练所有三层时,他们是在谈论三个自动编码器层,而不是子层。
这也符合只有自动编码器层具有可调参数的事实。其他两层使用统一的权重。