2013-02-19 12 views
12

GridSearchCV usa predire o predict_proba, quando si usa auc_score come funzione di punteggio?GridSearchCV usa predire o predict_proba, quando si usa auc_score come funzione di punteggio?

La funzione di previsione genera etichette di classe previste, che generano sempre una curva ROC triangolare. Si ottiene una curva ROC più curva utilizzando le probabilità di classe previste. Quest'ultimo è, per quanto ne so, più preciso. In tal caso, l'area sotto la curva ROC "curva" è probabilmente la migliore per misurare le prestazioni di classificazione all'interno della ricerca della griglia.

Pertanto sono curioso di utilizzare le etichette di classe o le probabilità di classe per la ricerca della griglia, quando si utilizza l'area sotto la curva ROC come misura di prestazione. Ho cercato di trovare la risposta nel codice, ma non riuscivo a capirlo. Qualcuno qui conosce la risposta?

Grazie

risposta

21

Per utilizzare auc_score per la griglia di ricerca si ha realmente bisogno di usare predict_proba o decision_function come lei ha sottolineato. Questo non è possibile nella versione 0.13. Se si utilizza , verrà utilizzato predict che non ha alcun senso.

[modifica] Dal 0.14 [/ modifica] è possibile fare grid-ricerca con auc_score, impostando il nuovo parametro scoring a roc_auc: GridSearch(est, param_grid, scoring='roc_auc'). Farà la cosa giusta e utilizzare predict_proba (o decision_function se predict_proba non è disponibile). Vedere lo whats new page of the current dev version.

È necessario installare il master corrente da github per ottenere questa funzionalità o attendere fino ad aprile (?) Per 0.14.

+0

Grazie per la risposta. Installerò il master corrente da github per ottenere la funzionalità desiderata. –

+0

Il feedback sulla nuova funzionalità è molto gradito;) –

+0

E per le funzioni personalizzate? Voglio dire che voglio usare una funzione di punteggio che segna con trota di terra e una matrice predict_proba y. – avances123