Come ottengo il gradiente della perdita in una variabile TensorFlow?

Question

La funzione che sto cercando è quella di essere in grado di dire quale sia il gradiente di una determinata variabile rispetto alla mia funzione di errore dati alcuni dati.

Un modo per fare ciò sarebbe vedere quanto la variabile è cambiata dopo una chiamata alla formazione, ma ovviamente può variare in modo massiccio in base all'algoritmo di apprendimento (ad esempio sarebbe quasi impossibile dire qualcosa come RProp) e non è molto pulito.

Grazie in anticipo.

Answer 1

La funzione tf.gradients() consente di calcolare il gradiente simbolico di un tensore rispetto a uno o più tensioni — comprese le variabili. Si consideri il seguente esempio semplice:

data = tf.placeholder(tf.float32) 
var = tf.Variable(...)    # Must be a tf.float32 or tf.float64 variable. 
loss = some_function_of(var, data) # some_function_of() returns a `Tensor`. 

var_grad = tf.gradients(loss, [var])[0] 

È quindi possibile utilizzare questo gradiente simbolico per calcolare il gradiente numerico per alcuni dati particolari:

sess = tf.Session() 

var_grad_val = sess.run(var_grad, feed_dict={data: ...})