In CUDA ConvNet, è possibile specificare la funzione di attivazione dei neuroni in modo lineare scrivendo neuron=linear[a,b], ad esempio f(x) = ax + b.Come utilizzare una funzione di attivazione lineare in TensorFlow?
Come posso ottenere lo stesso risultato in TensorFlow?
Il modo più semplice per scrivere un'attivazione lineare in TensorFlow è l'utilizzo di tf.matmul() e tf.add() (o l'operatore +). Supponendo di avere una matrice di uscite dallo strato precedente (che chiameremo prev_layer) con dimensioni batch_size x prev_units, e le dimensioni dello strato lineare è linear_units:
prev_layer = …
linear_W = tf.Variable(tf.truncated_normal([prev_units, linear_units], …))
linear_b = tf.Variable(tf.zeros([linear_units]))
linear_layer = tf.matmul(prev_layer, linear_W) + linear_b
sono linear_b sempre zeri? Qual è il senso di aggiungere zeri? – Brans
Sono una variabile inizialmente impostata su zeri, che di solito è una buona prima ipotesi per i bias (assenza di altre informazioni). Mentre si allena la rete, questa variabile verrà solitamente aggiornata a un valore diverso da zero. – mrry