Ho alcuni risultati di apprendimento automatico che non capisco. Sto usando Python sciki-learn, con oltre 2 milioni di dati di circa 14 funzionalità. La classificazione di 'ab' sembra piuttosto male sulla curva di richiamo di precisione, ma il ROC di Ab sembra altrettanto buono della classificazione di molti altri gruppi. Cosa può spiegarlo?Buona curva ROC ma scarsa curva di precisione di richiamo
risposta
Classe squilibrio.
A differenza della curva ROC, le curve PR sono molto sensibili allo squilibrio. Se si ottimizza il classificatore per una buona AUC su dati sbilanciati, è probabile che si ottengano risultati di richiamo di precisione scadenti.
Capisco, ma cosa significa veramente in termini di prestazioni del test? È buono (basato su ROC) o cattivo (basato su P-R)? Come può un test essere buono se nella curva P-R sopra il meglio che può fare è il 40% sia per precisione che per richiamo? – KubiK888
Significa che devi fare attenzione quando segnali le prestazioni di un test su dati sbilanciati. Nelle applicazioni mediche può avere un impatto terribile (vedi test dell'AIDS come un caso da manuale), in altri può andare bene, dipende molto dalla tua specifica applicazione. – Calimo
Non ho modificato l'impostazione predefinita mentre sto utilizzando scikit, ma come hai detto sembra ottimizzare in base alla AUC, c'è un modo per ottimizzare basato sulla coppia Precision/recall nei dati sbilanciati? – KubiK888
- 1. Curva ROC dai dati di allenamento nell'accurpitura
- 2. Curva ROC per classificazione da randomForest
- 3. Ottenere valori soglia da una curva ROC
- 4. curva di analisi adatta
- 5. Come tracciare una curva ROC con Tensorflow e scikit-learn?
- 6. R area di regressione logistica sotto curva
- 7. curva ROC in R utilizzando il pacchetto ROCR
- 8. Come calcolare il punto più vicino di una linea e una curva? .. o curva e curva?
- 9. Curva di Bezier e tela
- 10. Possibilità di una galleria curva
- 11. Tracciare una curva ROC nei rendimenti di scikit solo 3 punti
- 12. raccordo curva con python
- 13. .animate con una curva
- 14. Libreria raccordo curva Java
- 15. curva di terreno a matrice di punti
- 16. Tracciare la curva ROC dai dati Cross-Validation (addestramento) in R
- 17. Curva di animazione UIView non funzionante easinout
- 18. Trascina una curva di Bezier per modificarla
- 19. Come tracciare la curva ROC con scikit per il caso multiclasse?
- 20. curva di tela JavaScript con lunghezza fissa
- 21. Tela: animare la curva di Bézier disegno
- 22. Punti di identificazione in una curva
- 23. Cross browser Curva di testo CSS 3
- 24. Come utilizzare la curva di funzione in [R] per rappresentare graficamente una curva normale?
- 25. Curva di proprietà CSS limite-raggio esterna
- 26. cubi/Curva di interpolazione liscia in C#
- 27. Curva di apprendimento Magento e migliori consigli
- 28. Ombreggiatura di un'area limitata da una curva
- 29. Curva quadratica di Bezier: Calcola tangente
- 30. Coordinate della curva dell'ordine Z
Il tuo set è bilanciato? (ad esempio, come molti come non ab) – Calimo
No è molto sbilanciato, Ab è inferiore al 2% – KubiK888
Ecco qui. Prova il sovracampionamento per mitigare il problema. – Calimo