黑马程序员技术交流社区

标题: 【上海校区】tensorflow入门实践（二）：mnist实例--用CNN进行... [打印本页]

---

作者: 不二晨    时间: 2018-7-13 09:36
标题: 【上海校区】tensorflow入门实践（二）：mnist实例--用CNN进行...

环境：ubuntu16.04+tensorflow+cpu

文件路径：/home/qf/tensorflow/tf/tf2

1、训练的时候分批，测试的时候一次性测试，占用显存较大

• 
  
  import tensorflow as tf
  
  
• 
  
  import tensorflow.examples.tutorials.mnist.input_data as input_data
  
  
• 
  
  mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)     #
  
  
• 
  
  x = tf.placeholder(tf.float32, [None, 784])                        #
  
  
• 
  
  y_actual = tf.placeholder(tf.float32, shape=[None, 10])            #
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def weight_variable(shape):
  
  
• 
  
    initial = tf.truncated_normal(shape, stddev=0.1)
  
  
• 
  
    return tf.Variable(initial)
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def bias_variable(shape):
  
  
• 
  
    initial = tf.constant(0.1, shape=shape)
  
  
• 
  
    return tf.Variable(initial)
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def conv2d(x, W):
  
  
• 
  
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def max_pool(x):
  
  
• 
  
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], padding='SAME')
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  x_image = tf.reshape(x, [-1,28,28,1])         #
  
  
• 
  
  W_conv1 = weight_variable([5, 5, 1, 32])      
  
  
• 
  
  b_conv1 = bias_variable([32])      
  
  
• 
  
  h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)     #28*28*32
  
  
• 
  
  h_pool1 = max_pool(h_conv1)                                  #14*14*32
  
  
• 
  
  
  
  
• 
  
  W_conv2 = weight_variable([5, 5, 32, 64])
  
  
• 
  
  b_conv2 = bias_variable([64])
  
  
• 
  
  h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)      #14*14*64
  
  
• 
  
  h_pool2 = max_pool(h_conv2)                                   #7*7*64
  
  
• 
  
  
  
  
• 
  
  W_fc1 = weight_variable([7 * 7 * 64, 1024])
  
  
• 
  
  b_fc1 = bias_variable([1024])
  
  
• 
  
  h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])              #
  
  
• 
  
  h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)    #
  
  
• 
  
  
  
  
• 
  
  keep_prob = tf.placeholder("float")
  
  
• 
  
  h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)                  #
  
  
• 
  
  
  
  
• 
  
  W_fc2 = weight_variable([1024, 10])
  
  
• 
  
  b_fc2 = bias_variable([10])
  
  
• 
  
  y_predict=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)   #
  
  
• 
  
  
  
  
• 
  
  ###
  
  
• 
  
  cross_entropy = -tf.reduce_sum(y_actual*tf.log(y_predict))     #
  
  
• 
  
  train_step = tf.train.GradientDescentOptimizer(1e-3).minimize(cross_entropy)    #
  
  
• 
  
  correct_prediction = tf.equal(tf.argmax(y_predict,1), tf.argmax(y_actual,1))   
  
  
• 
  
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))                 #
  
  
• 
  
  sess=tf.InteractiveSession()                          
  
  
• 
  
  sess.run(tf.initialize_all_variables())
  
  
• 
  
  for i in range(20000):
  
  
• 
  
    batch = mnist.train.next_batch(50)
  
  
• 
  
    if i%100 == 0:                  #
  
  
• 
  
      train_acc = accuracy.eval(feed_dict={x:batch[0], y_actual: batch[1], keep_prob: 1.0})
  
  
• 
  
      print 'step %d, training accuracy %g'%(i,train_acc)
  
  
• 
  
      train_step.run(feed_dict={x: batch[0], y_actual: batch[1], keep_prob: 0.5})
  
  
• 
  
  
  
  
• 
  
  test_acc=accuracy.eval(feed_dict={x: mnist.test.images, y_actual: mnist.test.labels, keep_prob: 1.0})
  
  
• 
  
  print "test accuracy %g"%test_acc
  
  
• 
  
  #print ("test accuracy ",test_acc)
  
  
  

2、测试的时候也可以设置较小的batch来看准确率

• 
  
  import tensorflow as tf
  
  
• 
  
  import tensorflow.examples.tutorials.mnist.input_data as input_data
  
  
• 
  
  mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)     #
  
  
• 
  
  x = tf.placeholder(tf.float32, [None, 784])                        #
  
  
• 
  
  y_actual = tf.placeholder(tf.float32, shape=[None, 10])            #
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def weight_variable(shape):
  
  
• 
  
    initial = tf.truncated_normal(shape, stddev=0.1)
  
  
• 
  
    return tf.Variable(initial)
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def bias_variable(shape):
  
  
• 
  
    initial = tf.constant(0.1, shape=shape)
  
  
• 
  
    return tf.Variable(initial)
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def conv2d(x, W):
  
  
• 
  
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  def max_pool(x):
  
  
• 
  
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], padding='SAME')
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  x_image = tf.reshape(x, [-1,28,28,1])         #
  
  
• 
  
  W_conv1 = weight_variable([5, 5, 1, 32])      
  
  
• 
  
  b_conv1 = bias_variable([32])      
  
  
• 
  
  h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)     #28*28*32
  
  
• 
  
  h_pool1 = max_pool(h_conv1)                                  #14*14*32
  
  
• 
  
  
  
  
• 
  
  W_conv2 = weight_variable([5, 5, 32, 64])
  
  
• 
  
  b_conv2 = bias_variable([64])
  
  
• 
  
  h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)      #14*14*64
  
  
• 
  
  h_pool2 = max_pool(h_conv2)                                   #7*7*64
  
  
• 
  
  
  
  
• 
  
  W_fc1 = weight_variable([7 * 7 * 64, 1024])
  
  
• 
  
  b_fc1 = bias_variable([1024])
  
  
• 
  
  h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])              #
  
  
• 
  
  h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)    #
  
  
• 
  
  
  
  
• 
  
  keep_prob = tf.placeholder("float")
  
  
• 
  
  h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)                  #
  
  
• 
  
  
  
  
• 
  
  W_fc2 = weight_variable([1024, 10])
  
  
• 
  
  b_fc2 = bias_variable([10])
  
  
• 
  
  y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)   #
  
  
• 
  
  
  
  
• 
  
  # 1.损失函数：cross_entropy
  
  
• 
  
  cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))
  
  
• 
  
  # 2.优化函数：AdamOptimizer
  
  
• 
  
  train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
  
  
• 
  
  
  
  
• 
  
  # 3.预测准确结果统计
  
  
• 
  
  #　预测值中最大值（１）即分类结果，是否等于原始标签中的（１）的位置。argmax()取最大值所在的下标
  
  
• 
  
  correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.arg_max(y_, 1))  
  
  
• 
  
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  
  
• 
  
  
  
  
• 
  
  
  
  
• 
  
  # 如果一次性来做测试的话，可能占用的显存会比较多，所以测试的时候也可以设置较小的batch来看准确率
  
  
• 
  
  test_acc_sum = tf.Variable(0.0)
  
  
• 
  
  batch_acc = tf.placeholder(tf.float32)
  
  
• 
  
  new_test_acc_sum = tf.add(test_acc_sum, batch_acc)
  
  
• 
  
  update = tf.assign(test_acc_sum, new_test_acc_sum)
  
  
• 
  
  
  
  
• 
  
  # 定义了变量必须要初始化，或者下面形式
  
  
• 
  
  sess.run(tf.global_variables_initializer())
  
  
• 
  
  # 或者某个变量单独初始化 如：
  
  
• 
  
  # x.initializer.run()
  
  
• 
  
  
  
  
• 
  
  # 训练
  
  
• 
  
  for i in range(5000):
  
  
• 
  
      X_batch, y_batch = mnist.train.next_batch(batch_size=50)
  
  
• 
  
      if i % 500 == 0:
  
  
• 
  
          train_accuracy = accuracy.eval(feed_dict={X_: X_batch, y_: y_batch, keep_prob: 1.0})
  
  
• 
  
          print "step %d, training acc %g" % (i, train_accuracy)
  
  
• 
  
      train_step.run(feed_dict={X_: X_batch, y_: y_batch, keep_prob: 0.5})  
  
  
• 
  
  
  
  
• 
  
  # 全部训练完了再做测试，batch_size=100
  
  
• 
  
  for i in range(100):
  
  
• 
  
      X_batch, y_batch = mnist.test.next_batch(batch_size=100)
  
  
• 
  
      test_acc = accuracy.eval(feed_dict={X_: X_batch, y_: y_batch, keep_prob: 1.0})
  
  
• 
  
      update.eval(feed_dict={batch_acc: test_acc})
  
  
• 
  
      if (i+1) % 20 == 0:
  
  
• 
  
          print "testing step %d, test_acc_sum %g" % (i+1, test_acc_sum.eval())
  
  
• 
  
  print " test_accuracy %g" % (test_acc_sum.eval() / 100.0)
  
  
  

3、查看中间层的结果--这一个程序不能单独运行，与上面的放到一个程序里

• 
  
  #!/usr/bin/python
  
  
• 
  
  #-*-coding:utf-8 -*-
  
  
• 
  
  import matplotlib.pyplot as plt  #
  
  
• 
  
  #import sys
  
  
• 
  
  #reload(sys)
  
  
• 
  
  #sys.setdefaultencoding('utf8')
  
  
• 
  
  
  
  
• 
  
  #
  
  
• 
  
  import tensorflow.examples.tutorials.mnist.input_data as input_data
  
  
• 
  
  mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)  
  
  
• 
  
  img1 = mnist.train.images[1]
  
  
• 
  
  label1 = mnist.train.labels[1]
  
  
• 
  
  print label1  # 所以这个是数字 6 的图片
  
  
• 
  
  print 'img_data shape =', img1.shape  
  
  
• 
  
  # 我们需要把它转为 28 * 28 的矩阵
  
  
• 
  
  img1.shape = [28, 28]
  
  
• 
  
  print img1.shape
  
  
• 
  
  plt.imshow(img1)
  
  
• 
  
  plt.axis('off') # 不显示坐标轴
  
  
• 
  
  plt.show()   
  
  
• 
  
  # 我们可以通过设置 cmap 参数来显示灰度图
  
  
• 
  
  plt.imshow(img1, cmap='gray') # 'hot' 是热度图
  
  
• 
  
  plt.show()
  
  
• 
  
  
  
  
• 
  
  #####################################
  
  
• 
  
  
  
  
• 
  
  #查看中间结果
  
  
• 
  
  # 首先应该把 img1 转为正确的shape (None, 784)
  
  
• 
  
  X_img = img1.reshape([-1, 784])
  
  
• 
  
  y_img = mnist.train.labels[1].reshape([-1, 10])
  
  
• 
  
  # 我们要看 Conv1 的结果，即 h_conv1
  
  
• 
  
  result = h_conv1.eval(feed_dict={X_: X_img, y_: y_img, keep_prob: 1.0})
  
  
• 
  
  print result.shape
  
  
• 
  
  print type(result)
  
  
• 
  
  for _ in xrange(32):
  
  
• 
  
      show_img = result[:,:,:,_]
  
  
• 
  
      show_img.shape = [28, 28]
  
  
• 
  
      plt.subplot(4, 8, _ + 1)
  
  
• 
  
      plt.imshow(show_img, cmap='gray')
  
  
• 
  
      plt.axis('off')
  
  
• 
  
  plt.show()
  
  
  

【转载】原文地址： https://blog.csdn.net/qq_38096703/article/details/81010736

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2