Aumento graduale di Vowpal Wabbit

Question

C'è un modo per utilizzare l'aumento gradiente della regressione usando Vowpal Wabbit? Uso varie tecniche fornite con Vowpal Wabbit che sono utili. Voglio provare a incrementare il gradiente insieme a questo, ma non riesco a trovare un modo per implementare l'aumento gradiente su VW.

Answer 1

L'idea di gradient boosting è che un modello di insieme è stato creato da modelli deboli black-box. Si può sicuramente usare VW come scatola nera, ma si noti che VW non offre alberi decisionali, che sono la scelta più popolare per i modelli deboli black-box in aumento. L'aumento generale riduce il bias (e aumenta la varianza), quindi è necessario assicurarsi che i modelli VW abbiano una bassa varianza (nessun sovradattamento). Vedi bias-variance tradeoff.

ci sono alcune riduzioni legate al rafforzamento e insaccamento in VW:

• --autolink N aggiunge una funzione di collegamento con il polinomio N, che può essere considerato un semplice modo di aumentare.
• --log_multi K è un algoritmo di potenziamento online per la classificazione di classe K. Vedi the paper. Puoi usarlo anche per la classificazione binaria (K = 2), ma non per la regressione.
• --bootstrap M Bootstrap M-way di ricampionamento di importanza online. Utilizzare --bs_type=vote per la classificazione e --bs_type=mean per la regressione. Notare che questo è bagging, non potenziato.
• --boosting N (Aggiunto il 2015/06/17) on-line il richiamo con N allievi deboli, vedi a theoretic paper