Attività di apprendimento automatico: quale strumento utilizzare?

Question

Attualmente sto sperimentando un'attività ML che prevede l'addestramento supervisionato di un modello di classificazione. Ad oggi, ho esempi di training ~ 5M e esempi ~ 5M per la convalida incrociata. Ogni esempio ha, al momento, 46 ​​funzionalità, tuttavia potrei volerne generare altre 10 nel prossimo futuro, quindi qualsiasi soluzione dovrebbe lasciare margini di miglioramento.

Il mio problema è il seguente: quale strumento devo utilizzare per affrontare questo problema? Mi piacerebbe usare foreste casuali o SVM, tuttavia temo che quest'ultimo potrebbe essere troppo lento nel mio caso. Ho preso in considerazione Mahout, ma ho voltato le spalle in quanto sembra richiedere una certa quantità di configurazione unita a problemi con gli script da riga di comando. Preferirei codice direttamente contro una libreria (ben documentata!) O definire il mio modello con una GUI.

Devo anche specificare che sto cercando qualcosa che gira su Windows (senza cose come cygwin), e che le soluzioni che giocano bene con .NET sono molto apprezzate.

Si può immaginare che, quando il tempo sarà, vieni, il codice verrà eseguito su un Cluster Compute Eight Extra Large Instance su Amazon EC², quindi tutto ciò che fa largo uso di RAM e CPU multi-core è il benvenuto.

Ultimo ma non meno importante, deve specificare che il mio insieme di dati è denso (in quanto non v'è alcun valore mancante/tutte le colonne hanno un valore per ogni vettore)

Answer 1

mi raccomando guardando stocastico gradiente di discesa per questa scala un problema. Un buon strumento da osservare è VowpalWabbit. A quella dimensione probabilmente puoi eseguire i tuoi esperimenti su un desktop con specifiche ragionevoli. L'unico lato negativo per te, penso sia che non è centrato su Windows, ma anche se non l'ho controllato dovrebbe funzionare su cygwin.

MODIFICA: C'è stato un grande interesse da parte degli sviluppatori per far funzionare VowpalWabbit su Windows. A partire da marzo 2013 VowpalWabbit (versione 7.2) viene eseguito su Windows immediatamente. Ci sono un paio di funzionalità avanzate/opzionali che non sono ancora state implementate su Windows, una di queste sta eseguendo VowpalWabbit come demone, ma sembra che verrà gestita nel futuro a breve termine.

Answer 2

Eseguo regolarmente dataset di conteggio di righe/feature simili in R su EC2 (il tipo di istanza di 16 core/60 Gb a cui si fa riferimento è particolarmente utile nel caso in cui si stia utilizzando un metodo che può usufruire di più cpu come pacchetto caret). Come già accennato, non tutti i metodi di apprendimento (come SVM) funzioneranno bene su questo set di dati.

Si consiglia di prendere in considerazione l'utilizzo di un campione del 10% circa per la prototipazione rapida/benchmark delle prestazioni prima di passare all'esecuzione sull'intero set di dati.

Se si desidera prestazioni estremamente elevate quindi Vowpal Wabbit è una misura migliore (ma supporta solo i discenti lineari generalizzati in modo che nessun gbm o Random Forest.) Inoltre, VW non è molto finestre-friendly.