在张量流中实现 MLP

数据挖掘 机器学习 张量流
2021-09-24 20:52:52

网上有很多关于如何在 tensorflow 中实现 MLP 的资源，并且大多数示例都可以工作:) 但我对一个特定的感兴趣，我从https://www.coursera.org/learn/machine-learning学到的. 其中，它使用定义如下的成本函数：

J(θ)=1m∑i=1m∑k=1K[−yk(i)log⁡((hθ(x(i)))k−(1−yk(i))log⁡(1−(hθ(x(i)))k]

hθ是sigmoid函数。

这是我的实现：

# one hidden layer MLP

x = tf.placeholder(tf.float32, shape=[None, 784])
y = tf.placeholder(tf.float32, shape=[None, 10])

W_h1 = tf.Variable(tf.random_normal([784, 512]))
h1 = tf.nn.sigmoid(tf.matmul(x, W_h1))

W_out = tf.Variable(tf.random_normal([512, 10]))
y_ = tf.matmul(h1, W_out)

# cross_entropy = tf.nn.sigmoid_cross_entropy_with_logits(y_, y)
cross_entropy = tf.reduce_sum(- y * tf.log(y_) - (1 - y) * tf.log(1 - y_), 1)
loss = tf.reduce_mean(cross_entropy)
train_step = tf.train.GradientDescentOptimizer(0.05).minimize(loss)

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# train
with tf.Session() as s:
    s.run(tf.initialize_all_variables())

    for i in range(10000):
        batch_x, batch_y = mnist.train.next_batch(100)
        s.run(train_step, feed_dict={x: batch_x, y: batch_y})

        if i % 100 == 0:
            train_accuracy = accuracy.eval(feed_dict={x: batch_x, y: batch_y})
            print('step {0}, training accuracy {1}'.format(i, train_accuracy))

我认为图层的定义是正确的，但问题在于cross_entropy。如果我使用第一个，被注释掉的那个，模型很快收敛；但如果我使用第二个，我认为/希望是前一个方程的翻译，模型将不会收敛。

1个回答

你犯了三个错误：

  1. 您在非线性变换（变量 b_1 和 b_out）之前省略了偏移项。这增加了神经网络的代表能力。
  2. 您省略了顶层的 softmax 转换。这使得输出成为概率分布，因此您可以计算交叉熵，这是分类的常用成本函数。
  3. 当您应该使用多类形式时，您使用了交叉熵的二进制形式。

当我运行这个时，我得到了超过 90% 的准确率：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('/tmp/MNIST_data', one_hot=True)

x = tf.placeholder(tf.float32, shape=[None, 784])
y = tf.placeholder(tf.float32, shape=[None, 10])

W_h1 = tf.Variable(tf.random_normal([784, 512]))
b_1 = tf.Variable(tf.random_normal([512]))
h1 = tf.nn.sigmoid(tf.matmul(x, W_h1) + b_1)

W_out = tf.Variable(tf.random_normal([512, 10]))
b_out = tf.Variable(tf.random_normal([10]))
y_ = tf.nn.softmax(tf.matmul(h1, W_out) + b_out)

# cross_entropy = tf.nn.sigmoid_cross_entropy_with_logits(y_, y)
cross_entropy = tf.reduce_sum(- y * tf.log(y_), 1)
loss = tf.reduce_mean(cross_entropy)
train_step = tf.train.GradientDescentOptimizer(0.05).minimize(loss)

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# train
with tf.Session() as s:
    s.run(tf.initialize_all_variables())

    for i in range(10000):
        batch_x, batch_y = mnist.train.next_batch(100)
        s.run(train_step, feed_dict={x: batch_x, y: batch_y})

        if i % 1000 == 0:
            train_accuracy = accuracy.eval(feed_dict={x: batch_x, y: batch_y})
            print('step {0}, training accuracy {1}'.format(i, train_accuracy))
其它你可能感兴趣的问题
上一篇如何使k-means分布？ 下一篇概念学习和分类有什么区别？