Come vengono determinate feature_importances in RandomForestClassifier?

Question

Ho un compito di classificazione con una serie temporale come input di dati, in cui ogni attributo (n = 23) rappresenta un punto specifico nel tempo. Oltre al risultato della classifica assoluta vorrei sapere quali attributi/date contribuiscono al risultato fino a che punto. Quindi sto usando il feature_importances_, che funziona bene per me.

Tuttavia, mi piacerebbe sapere come vengono calcolati e quale misura/algoritmo viene utilizzato. Purtroppo non sono riuscito a trovare alcuna documentazione su questo argomento.

Answer 1

È il rapporto tra il numero di campioni instradati a un nodo decisionale che coinvolge tale funzione in uno degli alberi dell'insieme sul numero totale di campioni nel set di allenamento.

Le funzioni coinvolte nei nodi di livello superiore degli alberi decisionali tendono a visualizzare più campioni, pertanto è probabile che abbiano più importanza.

Modifica: questa descrizione è solo parzialmente corretta: le risposte di Gilles e Peter sono la risposta corretta.

Answer 2

Il modo usuale per calcolare i valori di importanza di un singolo albero è la seguente:

1. si inizializza un array feature_importances di tutti zeri con dimensioni n_features.

2. si attraversa l'albero: per ogni nodo interno che divide in funzione i si calcola la riduzione degli errori di quel nodo, moltiplicato per il numero di campioni che sono stati indirizzati al nodo e aggiungere questa quantità di feature_importances[i].

La riduzione dell'errore dipende dal criterio di impurità che si utilizza (ad esempio Gini, Entropy, MSE, ...). È l'impurità dell'insieme di esempi che viene instradato al nodo interno meno la somma delle impurità delle due partizioni create dalla divisione.

È importante che questi valori siano relativi a un set di dati specifico (sia la riduzione dell'errore che il numero di campioni sono specifici del set di dati), pertanto questi valori non possono essere confrontati tra diversi set di dati.

Per quanto ne so, esistono modi alternativi per calcolare i valori di importanza delle caratteristiche negli alberi decisionali. Una breve descrizione del metodo sopra può essere trovata in "Elements of Statistical Learning" di Trevor Hastie, Robert Tibshirani e Jerome Friedman.

Answer 3

Esistono infatti diversi modi per ottenere le "importazioni" di funzionalità. Come spesso, non c'è un consenso stretto su cosa significhi questa parola.

In scikit-learn, implementiamo l'importanza come descritto in [1] (spesso citato, ma sfortunatamente letto ...). Viene talvolta chiamato "importanza gini" o "impurità di diminuzione media" ed è definito come la diminuzione totale dell'impurità del nodo (ponderata dalla probabilità di raggiungere quel nodo (che è approssimato dalla proporzione di campioni che raggiungono quel nodo)) mediata su tutti alberi del complesso.

Nella documentazione o in altri pacchetti, è anche possibile trovare importanze di funzionalità implementate come "precisione di diminuzione media". Fondamentalmente, l'idea è di misurare la diminuzione dell'accuratezza dei dati OOB quando permuti a caso i valori per quella caratteristica. Se la diminuzione è bassa, la funzione non è importante e viceversa.

(Si noti che entrambi gli algoritmi sono disponibili nel pacchetto foresta casuale R.)

[1]: Breiman, Friedman, "Classificazione e alberi di regressione", 1984.

Answer 4

Come @GillesLouppe indicato sopra, scikit-learn implementa attualmente la metrica "impurità di diminuzione media" per le importazioni di funzionalità. Personalmente trovo la seconda metrica un po 'più interessante, dove permuti a caso i valori per ciascuna delle tue caratteristiche uno per uno e vedi quanto peggio è la tua performance fuori borsa.

Poiché ciò che cercate con l'importanza delle funzionalità è quanto ciascuna funzione contribuisce al rendimento predittivo del modello generale, la seconda metrica fornisce effettivamente una misura diretta di ciò, mentre la "media diminuzione dell'impurezza" è solo un buon proxy .

Se siete interessati, ho scritto un piccolo pacchetto che implementa l'importanza permutazione metrica e può essere utilizzato per calcolare i valori da un'istanza di una classe foresta casuale scikit-learn:

https://github.com/pjh2011/rf_perm_feat_import

Modifica: questo funziona per Python 2.7, non 3