R Supervision Latent Dirichlet Allocation Package

Question

Sto usando this LDA package per R. In particolare sto cercando di fare supervised latent dirichlet allocation (slda). Nel pacchetto collegato, c'è una funzione slda.em. Tuttavia ciò che mi confonde è che richiede parametri alpha, eta e varianza. Per quanto ho capito, ho pensato che questi parametri fossero sconosciuti nel modello. Quindi la mia domanda è, l'autore del pacchetto ha inteso dire che si tratta di ipotesi iniziali per i parametri? Se sì, non sembra esserci un modo per accedervi dal risultato dell'esecuzione di slda.em.

Oltre alla codifica dei passaggi EM aggiuntivi nell'algoritmo, esiste un modo suggerito per indovinare valori ragionevoli per questi parametri?

Answer 1

Poiché si sta tentando di generare un modello supervisionato, l'approccio tipico consisterebbe nell'utilizzare la convalida incrociata per determinare i parametri del modello. Quindi tieni alcuni dei dati come set di test, forma un modello sui dati rimanenti e valuta le prestazioni del modello, ripetendo k volte. Quindi si continua a ripetere con diversi parametri del modello per determinare quale risultato si ottiene nella migliore prestazione del modello.

Nel caso specifico di slda, eseguo demo(slda) per vedere l'implementazione dell'autore. Quando esegui la demo, vedrai che imposta alpha=1.0, eta=0.1 e variance=0.25. Suggerirei di utilizzarli come punto di partenza e quindi utilizzare la convalida incrociata per determinare i parametri migliori se è necessario migliorare le prestazioni del modello.