Regressione ordinaria dei minimi quadrati in Wabbit Vowpal

Question

Qualcuno è riuscito a eseguire una regressione ordinaria dei minimi quadrati in Vowpal Wabbit? Sto cercando di confermare che restituirà la stessa risposta come la soluzione esatta, vale a dire quando si sceglie un minimizzare ||y - X a||_2 + ||Ra||_2 (dove R è la regolarizzazione) Voglio ottenere la risposta analitica a = (X^T X + R^T R)^(-1) X^T y. Fare questo tipo di regressione richiede circa 5 righe in Python numpy.

La documentazione di VW suggerisce che è possibile farlo (presumibilmente la funzione di perdita "al quadrato") ma finora non sono stato in grado di farlo arrivare nemmeno vicino alla corrispondenza dei risultati di Python. Becuase quadrato è la funzione di perdita di default, sto semplicemente chiamando:

$ vw-varinfo input.txt 

dove input.txt ha linee come

1.4 | 0:3.4 1:-1.2 2:4.0 .... etc 

Ho bisogno di alcuni altri parametri della VW chiamare? Non riesco a trovare la documentazione (piuttosto minimale).

Answer 1

Credo che si dovrebbe utilizzare questa sintassi (vowpal wabbit versione 7.3.1):

vw -d input.txt -f linear_model -c --passes 50 --holdout_off --loss_function squared --invert_hash model_readable.txt 

Questa sintassi istruirà VW per leggere il file input.txt, scrivere su disco un record modello ed una cache (necessario per la convergenza multi-passaggio) e adattare una regressione utilizzando la funzione di perdita al quadrato. Inoltre scriverà i coefficienti del modello in modo leggibile in un file chiamato model_readable.txt.

L'opzione --holdout_off è una recente aggiunta per sopprimere il calcolo della perdita automatica fuori campione (se si sta utilizzando una versione precedente è necessario rimuoverla).

Fondamentalmente un'analisi di regressione basata sulla discesa del gradiente stocastico fornirà un vettore di coefficienti simile alla soluzione esatta solo quando non viene applicata la regolarizzazione e quando il numero di passaggi è elevato (suggerirei 50 o anche più, anche mischiare casualmente le righe del file di input aiuterebbe l'algoritmo a convergere meglio).