2015-07-09 9 views
5

Sono nuovo di wowbit di vowpal quindi ho qualche domanda a riguardo.Come fare il wabbit di vowpal usare più osservazioni

Ho passato un set di dati alla vw e ho adattato un modello e ottenuto le previsioni del campione, ho salvato il modello con -f. Fin qui tutto bene. So come usare il modello e fare previsioni su set di dati diversi. Ma voglio sapere come aggiungere più osservazioni al modello e aggiornarlo.

Obiettivo principale: utilizzare alcuni blocchi di dati per fare in modo che vw lo impari online, quindi utilizzare tale modello per prevedere alcuni dati. quindi utilizzare i nuovi dati per aggiornare il modello. quindi utilizzare i dati aggiornati per prevedere un'altra nuova osservazione e questo processo dovrebbe continuare.

Come ho detto Sono un novizio, così gentilmente cercare di scusare la banalità della domanda

risposta

6
vw -i existing.model -f new.model more_observations.dat 

Mnemonics:

  • -i iniziale
  • -f finale

È anche possibile utilizzare lo stesso nome file del modello in -i e -f per aggiornare "sul posto" poiché non è realmente sul posto. La sostituzione del modello avviene alla fine della corsa in maniera atomica (rinomina di un file temporaneo per il file finale) come si può vedere nella strace uscita seguente (con commenti aggiunti):

$ strace -e open,close,rename vw --quiet -i zz.model -f zz.model f20-315.tt.gz 
# loading the initial (-i zz.model) model into memory 
open("zz.model", O_RDONLY)    = 3 
# done loading, so we can close it 
close(3)        = 0 
# Now reading the data-set and learning in memory 
open("f20-315.tt.gz", O_RDONLY)   = 3 
# data read complete. write the updated model into a temporary file 
open("zz.model.writing", O_WRONLY|O_CREAT|O_TRUNC, 0666) = 4 
close(4)        = 0 
# and rename atomically to the final (-f zz.model) model file 
rename("zz.model.writing", "zz.model") = 0 
... 
close(4)        = 0 
close(3)        = 0 
+++ exited with 0 +++ 
+0

dare questo "more_observation. dat "e dare" -d more_observation.dat "sono diversi o uguali? – DarkHorse

+0

Dovrebbe comportarsi lo stesso con o senza '-d' – arielf

+1

aggiungerei che per tale caso d'uso è meglio salvare/caricare i file di modello con la chiave' --save_resume'. Senza di essa, non ci si aspetta che il modello venga utilizzato per qualcosa tranne la previsione e non includa alcuni parametri addizionali per l'algoritmo di apprendimento nel modello che possono essere utilizzati per continuare il training del modello in un secondo momento. Quindi senza '--save_resume' l'allenamento consecutivo sarà un po 'meno efficace. – truf

Problemi correlati