tensorflow: Ripristino variabili da da più punti di controllo

Question

Ho la seguente situazione:

• Ho 2 modelli scritti in 2 script separati:

• Modello A è costituito da variabili a1, a2 e a3 , ed è scritto in A.py

• Modello B costituito da variabili b1, b2, e b3, ed è scritto in B.py

In ognuno di A.py e B.py, ho un tf.train.Saver che salva il posto di blocco di tutte le variabili locali, e chiamiamola rispettivamente i file di checkpoint ckptA e ckptB .

Ora desidero creare un modello C che utilizzi a1 e b1. Posso fare in modo che lo stesso identico nome della variabile per a1 sia usato sia in A che in C usando var_scope (e lo stesso per b1).

La domanda è: come potrei caricare a1 e b1 da ckptA e ckptB nel modello di C? Ad esempio, sarebbe il seguente lavoro?

saver.restore(session, ckptA_location) 
saver.restore(session, ckptB_location) 

Si verificherebbe un errore se si tenta di ripristinare la stessa sessione due volte? Si lamenterebbe che non ci sono "slot" allocati per le variabili extra (b2, b3, a2, a3), o ripristinerebbe semplicemente le variabili che può, e si lamenterà solo se ci sono altre variabili in C non inizializzate?

Sto provando a scrivere del codice per testarlo ora, ma mi piacerebbe vedere un approccio canonico a questo problema, perché si incontra spesso questo quando si tenta di riutilizzare dei pesi pre-addestrati.

Grazie!

Answer 1

Si otterrà un tf.errors.NotFoundError se si è tentato di utilizzare un risparmiatore (per impostazione predefinita che rappresenta tutte le sei variabili) per ripristinare da un checkpoint che non contiene tutte le variabili rappresentate dal risparmiatore. (Nota comunque che sei libero di chiamare più volte Saver.restore() nella stessa sessione, per qualsiasi sottoinsieme delle variabili, purché tutte le variabili richieste siano presenti nel file corrispondente.)

L'approccio canonico è definire due istanze separate tf.train.Saver che coprono ogni sottoinsieme di variabili che è interamente contenuto in un singolo punto di controllo. Per esempio:

saver_a = tf.train.Saver([a1]) 
saver_b = tf.train.Saver([b1]) 

saver_a.restore(session, ckptA_location) 
saver_b.restore(session, ckptB_location) 

A seconda di come il codice è costruito, se si dispone di puntatori a tf.Variable oggetti chiamati a1 e b1 in ambito locale, si può smettere di leggere qui.

D'altra parte, se le variabili a1 e b1 sono definite in file separati, potrebbe essere necessario fare qualcosa di creativo per recuperare i puntatori a tali variabili. Anche se non è l'ideale, quello che la gente di solito fanno è quello di utilizzare un prefisso comune, per esempio nel modo seguente (assumendo che i nomi delle variabili sono "a1:0" e "b1:0" rispettivamente):

saver_a = tf.train.Saver([v for v in tf.all_variables() if v.name == "a1:0"]) 
saver_b = tf.train.Saver([v for v in tf.all_variables() if v.name == "b1:0"]) 

Una nota finale: non si deve fare sforzi eroici per garantire che le variabili abbiano gli stessi nomi in A e C. È possibile passare un dizionario nome- Variable come primo argomento al costruttore tf.train.Saver e quindi rimappare i nomi nel file di checkpoint sugli oggetti Variable nel codice. Ciò è utile se A.py e B.py hanno variabili con nome simile o se in C.py si desidera organizzare il codice modello da tali file in un tf.name_scope().