黑马程序员技术交流社区

标题: 【上海校区】使用预训练的word2vec词向量 [打印本页]

---

作者: 梦缠绕的时候    时间: 2018-9-3 09:17
标题: 【上海校区】使用预训练的word2vec词向量

之前被这个问题困扰了挺长时间，一直找不到有效的方法，可能是我太菜……

在网上找资料也只找到了一种把bin转换成txt 文件的方式，但是效率出奇的低，无法想象，本地一运行程序就死机，服务器上也得等很长时间。多亏了有一颗优化模型的心……

山重水复疑无路，柳暗花明又一村啊。

在一篇paper里面，作者用theano直接对二进制bin文件进行了处理。速度上有天壤之别，一种是拖拉机，一种是火箭，遂把它进行改动用到了自己的模型里。

一、先介绍直接对txt进行处理的方法，该方法缺点，速度太慢，而且两篇博文里都是从placeholder里传入词向量数据，对于这种方式，我持保留意见。原因：

        1，如果从placeholder里传入数据，那在实际应用中，每一个batch都要传入全部的词向量，这对于稍复杂的模型来说显然很吃力，额外增加了很多计算量。

        2，在模型训练过程中可以控制词向量可训练与不可训练，从palceholdler传入，降低了灵活性。

        3，bin文件转换成txt格式，文件大小变为原来的两倍，还需要解码，又增加了读取时间。

对于该方法不在赘述，将两篇博文地址粘贴到下面：

http://blog.csdn.net/lxg0807/article/details/72518962（中文）[作者最后提到的unk情况，其实可有可无，看你在对数据进行预处理的时候是否考虑了这种情况，如果已经考虑到了unk则在此处不需要]

https://ireneli.eu/2017/01/17/tensorflow-07-word-embeddings-2-loading-pre-trained-vectors/（英文）

二、直接对bin文件进行处理

  1,这种方式跟上面的方式有很大不同，首先是在分离word的时候，是采用从每一行的开始挨个单词读到第一个空格处为止，便是一个单词，每一行都重复这种动作，直到整个文件读完。

• 
  
          for line in xrange(vocab_size):
  
  
• 
  
              word = []
  
  
• 
  
              while True:
  
  
• 
  
                  ch = f.read(1)
  
  
• 
  
                  #print ch
  
  
• 
  
                  if ch == ' ':
  
  
• 
  
                      word = ''.join(word)
  
  
• 
  
                      #print 'single word:',word
  
  
• 
  
                      break
  
  
• 
  
                  if ch != '\n':
  
  
• 
  
                      word.append(ch)
  
  
• 
  
                      #print word
  
  
  

2，第二步是从大的词向量表中，来找到与单词相对应的词向量

• 
  
              if word in vocab:
  
  
• 
  
                 word_vecs[word] = np.fromstring(f.read(binary_len), dtype='float32')
  
  
• 
  
                 pury_word_vec.append(word_vecs[word])
  
  
• 
  
                 if i==0:
  
  
• 
  
                     print 'word',word
  
  
• 
  
                     i=1
  
  
• 
  
              else:
  
  
• 
  
                  f.read(binary_len)
  
  
  

3，对于词表中没有的单词进行处理，这里采用的是uniform随机初始化

• 
  
  def add_unknown_words(word_vecs, vocab, min_df=1, k=300):
  
  
• 
  
      """
  
  
• 
  
      For words that occur in at least min_df documents, create a separate word vector.
  
  
• 
  
      0.25 is chosen so the unknown vectors have (approximately) same variance as pre-trained ones
  
  
• 
  
      """
  
  
• 
  
      for word in vocab:
  
  
• 
  
          if word not in word_vecs and vocab[word] >= min_df:
  
  
• 
  
              word_vecs[word] = np.random.uniform(-0.25,0.25,k)
  
  
  

4,在应用之前，也就是传入embedding lookup之前，需要取出对应词表，并进行一定预处理。

def get_W(word_vecs, k=300):    """    Get word matrix. W is the vector for word indexed by i    """vocab_size = len(word_vecs)    word_idx_map = dict()    W = np.zeros(shape=(vocab_size+1, k), dtype='float32')    W[0] = np.zeros(k, dtype='float32')    i = 1    for word in word_vecs:        W = word_vecs[word]        word_idx_map[word] = i        i += 1    return W, word_idx_map5，在main函数中调用的过程：

• 
  
  if __name__=="__main__":
  
  
• 
  
      w2v_file = "GoogleNews-vectors-negative300.bin"#Google news word2vec bin文件
  
  
• 
  
      print "loading data...",
  
  
• 
  
      vocab = Wordlist('vocab.txt')#自己的数据集要用到的词表
  
  
• 
  
      w2v,pury_word2vec = load_bin_vec(w2v_file, vocab.voc)
  
  
• 
  
      add_unknown_words(w2v, vocab.voc)
  
  
• 
  
      W, word_idx_map = get_W(w2v)
  
  
• 
  
  
  
  
• 
  
      '''embedding lookup简单应用'''
  
  
• 
  
      Wa = tf.Variable(W)
  
  
• 
  
      embedding_input = tf.nn.embedding_lookup(Wa, [0,1,2])#正常使用时要替换成相应的doc
  
  
• 
  
  
  
  
• 
  
      with tf.Session() as sess:
  
  
• 
  
          sess.run(tf.global_variables_initializer())
  
  
• 
  
          input = sess.run(Wa)
  
  
• 
  
          #print np.shape(Wa)
  
  
  

此处仅做了使用的简单示例，如果应用到自己的项目中去，还需要优化一下结构。以适应自己项目的需要。

刚开始写博客不久，发现在表达的时候会说不清楚，有不明白的地方，欢迎留言讨论。

补充：关于txt格式的文件，也找到了速度很快的处理方式，glove和word2vec只要是一样的格式，代码可以通用，可以移步这里：http://lichangsong.win/?post=22

---

作者: 不二晨    时间: 2018-9-6 11:17
奈斯

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2