Dove dovrei applicare il dropout a un livello convoluzionale?

Question

Poiché la parola "livello" spesso indica cose diverse quando applicate a un livello convoluzionale (alcune trattano tutto attraverso il raggruppamento come un singolo livello, altre trattano convoluzione, non linearità e raggruppamento come "strati" separati; see fig 9.7) non è chiaro dove posso applicare l'abbandono in uno strato convoluzionale.

L'interruzione si verifica tra non linearità e raggruppamento?

---

Ad esempio, in tensorflow sarebbe qualcosa di simile:

kernel_logits = tf.nn.conv2d(input_tensor, ...) + biases 
activations = tf.nn.relu(kernel_logits) 
kept_activations = tf.nn.dropout(activations, keep_prob) 
output = pool_fn(kept_activations, ...) 

Answer 1

Probabilmente si potrebbe provare ad applicare abbandono in luoghi diversi, ma in termini di prevenzione overfitting non è sicuro che stai andando a vedere molto di un problema prima della messa in comune. Quello che ho visto per la CNN è che tensorflow.nn.dropout ottiene applicata dopo la non linearità e messa in comune:

# Create a convolution + maxpool layer for each filter size 
    pooled_outputs = [] 
    for i, filter_size in enumerate(filters): 
     with tf.name_scope("conv-maxpool-%s" % filter_size): 
      # Convolution Layer 
      filter_shape = [filter_size, embedding_size, 1, num_filters] 
      W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name="W") 
      b = tf.Variable(tf.constant(0.1, shape=[num_filters]), name="b") 
      conv = tf.nn.conv2d(
       self.embedded_chars_expanded, 
       W, 
       strides=[1, 1, 1, 1], 
       padding="VALID", 
       name="conv") 
      # Apply nonlinearity 
      h = tf.nn.relu(tf.nn.bias_add(conv, b), name="relu") 
      # Maxpooling over the outputs 
      pooled = tf.nn.max_pool(
       h, 
       ksize=[1, sequence_length - filter_size + 1, 1, 1], 
       strides=[1, 1, 1, 1], 
       padding='VALID', 
       name="pool") 
      pooled_outputs.append(pooled) 



    # Combine all the pooled features 
    num_filters_total = num_filters * len(filters) 
    self.h_pool = tf.concat(3, pooled_outputs) 
    self.h_pool_flat = tf.reshape(self.h_pool, [-1, num_filters_total]) 

    # Add dropout 
    with tf.name_scope("dropout"): 
     self.h_drop = tf.nn.dropout(self.h_pool_flat, self.dropout_keep_prob)