我正在尝试了解 Tensorflow 中的 NCE 损失函数。 NCE 损失用于 word2vec 任务，例如:

# Look up embeddings for inputs.
embeddings = tf.Variable(
    tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0))
embed = tf.nn.embedding_lookup(embeddings, train_inputs)

# Construct the variables for the NCE loss
nce_weights = tf.Variable(
    tf.truncated_normal([vocabulary_size, embedding_size],
                        stddev=1.0 / math.sqrt(embedding_size)))
nce_biases = tf.Variable(tf.zeros([vocabulary_size]))

# Compute the average NCE loss for the batch.
# tf.nce_loss automatically draws a new sample of the negative labels each
# time we evaluate the loss.
loss = tf.reduce_mean(
    tf.nn.nce_loss(weights=nce_weights,
                   biases=nce_biases,
                   labels=train_labels,
                   inputs=embed,
                   num_sampled=num_sampled,
                   num_classes=vocabulary_size))

更多详情，请引用 Tensorflow word2vec_basic.py

1. NCE函数中的输入和输出矩阵是什么？

在 word2vec 模型中，我们对构建单词表示感兴趣。在训练过程中，给定一个滑动窗口，每个词都会有两个嵌入:1)当词是中心词时； 2)当词是上下文词时。这两个嵌入分别称为输入和输出向量。 (more explanations of input and output matrices)

在我看来，输入矩阵是embeddings，输出矩阵是nce_weights。对吗？

1. 最终的嵌入是什么？

根据 post s0urcer 也与 nce 相关，它说最终的嵌入矩阵就是输入矩阵。而，some others saying ，final_embedding=input_matrix+output_matrix。哪个是正确的/更常见的？

最佳答案

让我们看一下word2vec示例中的相关代码(examples/tutorials/word2vec)。

embeddings = tf.Variable(
    tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0))
embed = tf.nn.embedding_lookup(embeddings, train_inputs)

这两行代码创建了嵌入表示。 embeddings 是一个矩阵，其中每一行代表一个词向量。 embedding_lookup 是一种快速获取与 train_inputs 对应的向量的方法。在 word2vec 示例中，train_inputs 由一些 int32 数字组成，表示目标词的 id。基本上，可以通过隐藏层特征来放置。

# Construct the variables for the NCE loss
nce_weights = tf.Variable(
    tf.truncated_normal([vocabulary_size, embedding_size],
                        stddev=1.0 / math.sqrt(embedding_size)))
nce_biases = tf.Variable(tf.zeros([vocabulary_size]))

这两行创建参数。它们将在训练期间由优化器更新。我们可以使用 tf.matmul(embed, tf.transpose(nce_weights)) + nce_biases 来获得最终的输出分数。换句话说，分类中的最后一个内积层可以用它代替。

loss = tf.reduce_mean(
      tf.nn.nce_loss(weights=nce_weights,     # [vocab_size, embed_size]
                   biases=nce_biases,         # [vocab_size]
                   labels=train_labels,       # [bs, 1]
                   inputs=embed,              # [bs, embed_size]
                   num_sampled=num_sampled, 
                   num_classes=vocabulary_size))

这些行造成了nce loss，@garej给出了很好的解释。 num_sampled是指nce算法中负采样的次数。

为了说明nce的用法，我们可以在mnist示例(examples/tutorials/mnist/mnist_deep.py)中应用它，分两步:

1.用隐藏层输出替换嵌入。隐藏层维度为1024，num_output为10。 num_sampled 的最小值为 1。记得删除 deepnn() 中的最后一个内积层。

y_conv, keep_prob = deepnn(x)                                            
                                                                           
num_sampled = 1                                                          
vocabulary_size = 10                                                     
embedding_size = 1024                                                    
with tf.device('/cpu:0'):                                                
  embed = y_conv                                                         
  # Construct the variables for the NCE loss                             
  nce_weights = tf.Variable(                                             
      tf.truncated_normal([vocabulary_size, embedding_size],             
                          stddev=1.0 / math.sqrt(embedding_size)))       
  nce_biases = tf.Variable(tf.zeros([vocabulary_size])) 

<强>2。创建损失并计算输出。计算输出后，我们可以用它来计算精度。请注意，这里的标签不是 softmax 中使用的 one-hot 向量。标签是训练样本的原始标签。

loss = tf.reduce_mean(                                   
    tf.nn.nce_loss(weights=nce_weights,                           
                   biases=nce_biases,                             
                   labels=y_idx,                                  
                   inputs=embed,                                  
                   num_sampled=num_sampled,                       
                   num_classes=vocabulary_size))                  
                                                                    
output = tf.matmul(y_conv, tf.transpose(nce_weights)) + nce_biases
correct_prediction = tf.equal(tf.argmax(output, 1), tf.argmax(y_, 1))

当我们设置 num_sampled=1 时，val 准确率将在 98.8% 左右结束。如果我们设置 num_sampled=9，我们可以获得与 softmax 训练的几乎相同的 val 准确度。但请注意，nce 与 softmax 不同。

nce训练mnist的完整代码可以找到here .希望对您有所帮助。

关于python - 理解tensorflow中的 `tf.nn.nce_loss()`，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41475180/