Keras 自动编码器不收敛

数据挖掘 深度学习 喀拉斯 自动编码器
2021-10-15 05:13:08

有人可以向我解释为什么自动编码器不收敛吗？对我来说，下面两个网络的结果应该是一样的。然而，下面的自动编码器没有收敛，而它下面的网络却是。

自编码器实现，不收敛

autoencoder = Sequential()
encoder = containers.Sequential([Dense(32,16,activation='tanh')]) 
decoder = containers.Sequential([Dense(16,32)])
autoencoder.add(AutoEncoder(encoder=encoder, decoder=decoder, 
                        output_reconstruction=True))
rms = RMSprop()
autoencoder.compile(loss='mean_squared_error', optimizer=rms)

autoencoder.fit(trainData,trainData, nb_epoch=20, batch_size=64,
            validation_data=(testData, testData), show_accuracy=False)

非自动编码器实现，收敛

model = Sequential()
model.add(Dense(32,16,activation='tanh')) 
model.add(Dense(16,32))
model.compile(loss='mean_squared_error', optimizer=rms)

model.fit(trainData,trainData, nb_epoch=numEpochs, batch_size=batch_size,
            validation_data=(testData, testData), show_accuracy=False)
1个回答

Keras 的新版本（0.3.0）不再在 AutoEncoder 中绑定权重，它仍然表现出不同的收敛性。这是因为权重的初始化方式不同。

在非 AE 示例中，首先初始化 Dense(32,16) 权重，然后是 Dense(16,32)。在AE示例中，首先初始化Dense(32,16)权重，然后是Dense(16,32)，然后在创建AutoEncoder实例时，再次初始化Dense(32,16)权重（self.encoder.set_previous (node) 将调用 build() 来初始化权重）。

现在以下两个 NN 收敛完全相同：

autoencoder = Sequential()
encoder = containers.Sequential([Dense(32,16,activation='tanh')]) 
decoder = containers.Sequential([Dense(16,32)])
autoencoder.add(AutoEncoder(encoder=encoder, decoder=decoder, 
                        output_reconstruction=True))
rms = RMSprop()
autoencoder.compile(loss='mean_squared_error', optimizer=rms)
np.random.seed(0)
autoencoder.fit(trainData,trainData, nb_epoch=20, batch_size=64,
            validation_data=(testData, testData), show_accuracy=False)
其它你可能感兴趣的问题
上一篇看清楚图：用于句子分类的卷积神经网络（CNN）架构的图示 下一篇CNN 中张量的意义何在？为什么不简单地将数据重塑为矩阵？