Confuso dal comportamento di `tf.cond`

Question

Ho bisogno di un flusso di controllo condizionale nel mio grafico. Se pred è True, il grafico dovrebbe chiamare un op che aggiorna una variabile e quindi la restituisce, altrimenti restituisce la variabile invariata. Una versione semplificata è:

pred = tf.constant(True) 
x = tf.Variable([1]) 
assign_x_2 = tf.assign(x, [2]) 
def update_x_2(): 
    with tf.control_dependencies([assign_x_2]): 
    return tf.identity(x) 
y = tf.cond(pred, update_x_2, lambda: tf.identity(x)) 
with tf.Session() as session: 
    session.run(tf.initialize_all_variables()) 
    print(y.eval()) 

Tuttavia, ritengo che sia pred=True e pred=False conducono allo stesso risultato y=[2], che significa che l'op assegnazione viene chiamato anche quando update_x_2 non è selezionata per tf.cond. Come spiegarlo? E come risolvere questo problema?

Answer 1

TL; DR: Se si desidera tf.cond() eseguire un effetto collaterale (come una cessione) in uno dei rami, è necessario creare l'op che esegue l'effetto collaterale all'interno la funzione che si passa a tf.cond() .

Il comportamento di tf.cond() è un po 'non intuitivo. Poiché l'esecuzione in un grafico TensorFlow scorre in avanti nel grafico, tutte le operazioni a cui si fa riferimento nel ramo devono essere eseguite prima che il condizionale venga valutato. Ciò significa che sia il ramo vero che quello falso ricevono una dipendenza di controllo dall'opzione tf.assign(), e quindi , anche se pred is False.

La soluzione è creare l'op tf.assign() all'interno della funzione che definisce il ramo vero. Ad esempio, è possibile strutturare il codice come segue:

pred = tf.placeholder(tf.bool, shape=[]) 
x = tf.Variable([1]) 
def update_x_2(): 
    with tf.control_dependencies([tf.assign(x, [2])]): 
    return tf.identity(x) 
y = tf.cond(pred, update_x_2, lambda: tf.identity(x)) 
with tf.Session() as session: 
    session.run(tf.initialize_all_variables()) 
    print(y.eval(feed_dict={pred: False})) # ==> [1] 
    print(y.eval(feed_dict={pred: True})) # ==> [2]