Valori mancanti nell'apprendimento automatico di Scikits

Question

È possibile avere valori mancanti in scikit-learn? Come dovrebbero essere rappresentati? Non sono riuscito a trovare alcuna documentazione al riguardo.

Answer 1

I valori mancanti non sono supportati in scikit-learn. C'è già stata una discussione sulla mailing list su questo, ma nessun tentativo di scrivere effettivamente il codice per gestirli.

Qualunque cosa tu faccia, non lo fanno uso NaN per codificare i valori mancanti, dal momento che molti degli algoritmi rifiutano di gestire campioni contenenti NaN.

La risposta di cui sopra non è aggiornata; l'ultima versione di scikit-learn ha una classe Imputer che esegue un'imputazione del valore mancante semplice, per caratteristica. È possibile alimentare gli array contenenti NaN per sostituirli con la media, la mediana o la modalità della funzione corrispondente.

Answer 2

Vorrei poter fornire un semplice esempio, ma ho trovato che RandomForestRegressor fa non gestisce nan's con garbo. Le prestazioni peggiorano costantemente quando si aggiungono funzionalità con percentuali crescenti di nan. Le caratteristiche che hanno "troppi" nan sono completamente ignorate, anche quando le nan indicano informazioni molto utili.

AFAIK l'algoritmo non creerà mai una divisione sulla decisione "isnan" o "ismissing". L'algoritmo ignorerà la funzione a un livello particolare dell'albero se la funzione ha solo un valore noto e il resto dei valori della funzione è nan/sconosciuto.

Ho provato varie tecniche di imputazione per affrontare il problema (sostituire con media/media, prevedere valori mancanti utilizzando un modello diverso, ecc.), Ma i risultati sono stati contrastanti.

Invece, questa è la mia soluzione: sostituire i nan con un valore singolo, ovviamente fuori range (come -1.0). Ciò consente alla struttura di dividersi sui criteri "valori sconosciuti rispetto a valori noti". È importante notare, tuttavia, che c'è un problema con la sostituzione con l'utilizzo di tali valori fuori intervallo: i valori noti potrebbero essere raggruppati insieme al valore fuori intervallo quando l'algoritmo tenta di trovare un buon posto per dividere . Ad esempio, il valore minimo conosciuto potrebbe essere moltiplicato con il valore fuori range (i tuoi 0 noti vengono moltiplicati con i -1 che hai usato per sostituire i tuoi valori nan). Quindi il tuo modello potrebbe cambiare in base a se il tuo valore fuori intervallo è inferiore al minimo o se è maggiore del massimo (potrebbe essere accoppiato con il valore minimo o il valore massimo, rispettivamente).

Answer 3

Orange è un'altra libreria di apprendimento automatico di Python dotata di strutture dedicate all'imputazione. Non ho avuto la possibilità di usarli, ma potrebbe essere presto, dal momento che i semplici metodi di sostituzione di nan con zeri, medie o mediani hanno tutti problemi significativi.

Answer 4

ho incontrato problema molto simile, quando si esegue il RandomForestRegressor sui dati. La presenza di valori di NA stava eliminando "nan" per le previsioni. Scorrendo diverse discussioni, la Documentation di Breiman raccomanda due soluzioni rispettivamente per dati continui e categorici.

1. calcolare la mediana dei dati dalla colonna (caratteristica) e utilizzare questo (Continuous Data)
2. determinare la categoria più frequente e utilizzare questa (dati categoriali)

Secondo a Breiman la natura casuale dell'algoritmo e il numero di alberi consentiranno la correzione senza troppi effetti sulla precisione della previsione. Questo credo che sarebbe il caso se la presenza di valori di NA fosse scarsa, una caratteristica che contiene molti valori di NA credo che molto probabilmente avrà un effetto.

Answer 5

La sostituzione di un valore mancante con una media/mediana/altra statistica potrebbe non risolvere il problema in quanto il fatto che il valore sia mancante potrebbe essere significativo. Ad esempio, in un sondaggio sulle caratteristiche fisiche, un rispondente potrebbe non mettere la propria altezza se fosse imbarazzato per essere anormalmente alto o piccolo. Ciò implicherebbe che i valori mancanti indicano che il rispondente era insolitamente alto o piccolo - l'opposto del valore mediano.

Ciò che è necessario è un modello che ha una regola separata per i valori mancanti, qualsiasi tentativo di indovinare il valore mancante probabilmente ridurrà la potenza predittiva del modello.

Answer 6

Ho riscontrato questo problema. In un caso pratico, ho trovato un pacchetto in R chiamato missForest in grado di gestire bene questo problema, imputando il valore mancante e migliorando notevolmente la mia previsione. Penso che questo metodo basato su una foresta casuale di imputazione sia molto più efficace della semplice sostituzione di NA con mediana o media, ma funziona molto lentamente su un grande set di dati. Quindi c'è un compromesso per questo metodo.

Answer 7

Quando si incontrano valori mancanti nelle funzionalità di input, il primo ordine del giorno non è il modo in cui imputare i mancanti. La domanda più importante è PERCHÉ TI DEVI. A meno che tu non abbia una mente chiara e definitiva su quale sia la vera "realtà" dietro ai dati, potresti voler ridurre l'impulso di imputare. Non si tratta di tecnica o pacchetto, in primo luogo. Storicamente abbiamo fatto ricorso a metodi ad albero come gli alberi decisionali principalmente perché alcuni di noi ritenevano che l'imputazione mancante alla stima della regressione come la regressione lineare, la regressione logistica o anche la NN siano abbastanza distorsivi da dover disporre di metodi che non richiedano l'imputazione manca "tra le colonne". La cosiddetta informatività mancante. Quale dovrebbe essere un concetto familiare per chi ha familiarità con, per dire, Bayesiano.

Se si sta davvero modellando su big data, oltre a parlarne, è probabile che si faccia fronte a un numero elevato di colonne. Nella pratica comune dell'estrazione di feature come l'analisi del testo, si potrebbe dire che missing significa count = 0. Questo va bene perché conosci la causa principale. La realtà, soprattutto quando si affronta una fonte di dati strutturata, è che non si conosce o semplicemente non si ha il tempo di conoscere la causa principale. Ma il tuo motore impone di inserire un valore, che si tratti di NAN o di altri segnaposto che il motore può tollerare, potrei benissimo sostenere che il tuo modello è buono come quello che imputi, il che non ha senso.

Una domanda interessante è: se lasciamo missingness per essere giudicato dal suo vicino contesto all'interno del processo di scissione, di primo o secondo grado surrogata, non silvicolo effettivamente rendere il giudizio contestuale un discutibile perché il contesto di per sé è selezione casuale? Questo, tuttavia, è un problema "migliore". Almeno non fa così male. Certamente dovrebbe rendere superfluo preservare la mancanza di informazioni.

In pratica, se si dispone di un numero elevato di funzioni di input, non è possibile avere una strategia "buona" da imputare dopo tutto. Dalla pura prospettiva dell'imputazione, la pratica migliore è tutt'altro che univariata.Il che è nel contesto della RF significa praticamente usare la RF per imputare prima di modellarla con essa.

Pertanto, a meno che qualcuno non mi dica (o noi), "non siamo in grado di farlo", penso che dovremmo permettere di portare avanti le "cellule" mancanti, ignorando completamente il soggetto di come "meglio" imputare.