黑马程序员技术交流社区

标题: 【上海校区】TensorFlow训练网络过程中出现NAN值 [打印本页]

---

作者: 不二晨    时间: 2018-8-6 09:47
标题: 【上海校区】TensorFlow训练网络过程中出现NAN值

在神经网络训练过程中，可能会出现Weight/Bias等值为NaN(Not a Number)的问题，这是因为在训练过程中权重出现了无穷与非数值的情况。现就出现NAN值问题的原因及解决方案进行总结。未完待续。。。

1. 学习率设置问题

学习率设置不到可能会导致出现NAN值，而且通常是学习率过大导致。

2. 优化器选择问题

在用多元线性回归解决房价预测问题时就遇到过权重出现NAN值问题。先采用的是tf.train.GradientDescentOptimize优化算法，结果训练过程中权重出现了NAN值，后来改用tf.train.AdamOptimize优化算法问题得到了解决。至于为什么还有待深究！

案例分析：

• 
  
  import tensorflow as tf
  
  
• 
  
  import numpy as np
  
  
• 
  
  
  
  
• 
  
  houses = 100
  
  
• 
  
  features = 2
  
  
• 
  
  
  
  
• 
  
  x_data = np.zeros([houses, 2])
  
  
• 
  
  for house in range(houses):
  
  
• 
  
      x_data[house, 0] = np.round(np.random.uniform(50., 150.))
  
  
• 
  
      x_data[house, 1] = np.round(np.random.uniform(3., 7.))
  
  
• 
  
  weights = np.array([[2.], [3.]])
  
  
• 
  
  y_data = np.dot(x_data, weights)   # 点积
  
  
• 
  
  
  
  
• 
  
  x_data_ = tf.placeholder(tf.float32, [None, 2])
  
  
• 
  
  y_data_ = tf.placeholder(tf.float32, [None, 1])
  
  
• 
  
  weights_ = tf.Variable(np.ones([2, 1]), dtype=tf.float32)
  
  
• 
  
  y_model = tf.matmul(x_data_, weights_)
  
  
• 
  
  
  
  
• 
  
  loss = tf.reduce_mean(tf.pow((y_model - y_data_), 2))
  
  
• 
  
  train_op = tf.train.AdamOptimizer(0.01).minimize(loss)
  
  
• 
  
  
  
  
• 
  
  config = tf.ConfigProto()
  
  
• 
  
  config.gpu_options.allow_growth = True
  
  
• 
  
  sess = tf.Session(config=config)
  
  
• 
  
  # sess = tf.Session()
  
  
• 
  
  init = tf.global_variables_initializer()
  
  
• 
  
  sess.run(init)
  
  
• 
  
  
  
  
• 
  
  for _ in range(100):
  
  
• 
  
      for (x, y) in zip(x_data, y_data):
  
  
• 
  
          z1 = x.reshape(1, 2)
  
  
• 
  
          z2 = y.reshape(1, 1)
  
  
• 
  
          sess.run(train_op, feed_dict={x_data_: z1, y_data_: z2})
  
  
• 
  
      print("--------------")
  
  
• 
  
      print(sess.run(weights_))
  
  
  

---

作者: 不二晨    时间: 2018-8-9 17:38
奈斯

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2