做乐等人。(2012) 一次训练所有三个自动编码器层,还是只训练一个?

人工智能 文件 自动编码器 无监督学习
2021-10-27 08:44:30

乐等人。2012使用一个包含 10 亿个参数的网络来学习对没有标签的人脸、猫、行人等做出反应的神经元(无监督)。

他们的网络由三个自回归层、六个池化和归一化层构成。

他们在论文中说,

优化:我们模型中的所有参数都经过联合训练,目标是三层目标的总和。

这是否意味着同时训练了所有三个自动编码器层,还是同时训练了前三个子层(第一个自动编码器子层、第一个 L2 池化子层和第一个归一化子层)?

1个回答

论文提到了层和子层,并明确指出一层包括所有三个子层,所以当他们说他们同时训练所有三层时,他们是在谈论三个自动编码器层,而不是子层。

这也符合只有自动编码器层具有可调参数的事实。其他两层使用统一的权重。