Come combinare falsi positivi e falsi negativi in ​​una singola misura

Question

Sto provando a misurare le prestazioni di un programma di visione artificiale che tenta di rilevare oggetti nel video. Ho 3 diverse versioni del programma che hanno parametri diversi. Ho confrontato ciascuna di queste versioni e ottenuto 3 coppie di (percentuale di falsi positivi, percentuale di falsi negativi).

Ora voglio confrontare le versioni tra loro e poi mi chiedo se abbia senso combinare i falsi positivi e i falsi negativi in ​​un singolo valore e usarlo per fare il confronto. per esempio, prendi l'equazione falsePositivi/falseNegativi e vedi quale è più piccolo.

Answer 1

Un paio di altre soluzioni possibili:

-Il tasso di falsi-positivi (fp) e tasso di falsi negativi (fn) può dipendere una soglia.Se tracciate la curva in cui il valore y è (1-fn) e il valore x è (fp), tracciate la curva Receiver-Operator-Characteristic (ROC). L'area sotto la curva ROC (AUC) è una misura popolare di qualità.

-AUC può essere ponderata se ci sono alcune regioni di interesse

-Report il tasso pari-Error. Per alcune soglie, fp = fn. Segnala questo valore.

Answer 2

Dipende da quanti dettagli si desidera nel confronto.

La combinazione delle due cifre ti darà un senso generale di margine di errore, ma nessuna visione in che tipo di errore, quindi se vuoi solo sapere cosa è "più corretto" in senso generale, allora va bene.

Se, al contrario, si sta effettivamente utilizzando i risultati per determinare in modo più approfondito se il processo è adatto a un problema particolare, immagino che mantenerli separati sia una buona idea. ad es. A volte i falsi negativi sono un problema molto diverso dai falsi positivi in ​​un contesto reale. Il robot ha appena evitato un oggetto che non c'era ... o non si accorge che si stava dirigendo dal lato di una scogliera?

In breve, non esiste una regola globale dura e veloce per determinare l'efficacia della visione in base a un super calcolo. Si tratta di ciò che hai intenzione di fare con le informazioni che è il bit importante.

Answer 3

È necessario considerare come i falsi positivi "importanti" sono relativi ai falsi negativi.

Ad esempio, se il programma è progettato per riconoscere i volti delle persone, sia i falsi positivi che i falsi negativi sono ugualmente innocui e probabilmente è possibile combinarli in modo lineare.

Ma se il tuo programma è stato progettato per rilevare le bombe, i falsi positivi non sono un grosso problema (cioè dire "questa è una bomba" quando in realtà non lo è) ma falsi negativi (cioè, "questo non è una bomba "quando effettivamente è) sarebbe catastrofica.

Answer 4

Bene, un modo convenzionale consiste nell'assegnare un peso a ciascuno dei due tipi di evento (ad esempio, un numero intero per indicare il significato relativo di ciascuna convalida del modello). Poi,

• moltiplicare ogni istanza per il fattore di ponderazione appropriata;

• quindi quadrarli;

• sommare i termini;

• la radice quadrata

Questo vi lascia con un solo numero - qualcosa di "errore totale".

Answer 5

Oltre al popolare Area Under the ROC Curve (AUC) provvedimento menzionato da @alchemist-al, c'è un punteggio che unisce sia precisione e richiamo (che sono definiti in termini di TP/FP/TN/FN) chiamato F-measure che va da 0 a 1 (0 è il peggiore, 1 il migliore):

F-measure = 2*precision*recall/(precision+recall) 

dove

precision = TP/(TP+FP) , recall = TP/(TP+FN) 

Answer 6

Se si vuole massimizzare B OTH i veri positivi e veri negativi è possibile utilizzare l'efficienza diagnostica: Efficienza

diagnostica = Sensibilità * Specificità

Dove ...

Sensibilità = TP/(TP + FN)

specificità = TN/(TN + FP)

(TP = numero di veri positivi, FN = numero di falsi negativi, TN = numero di veri negativi, FP = numero di falsi positivi)

Questa metrica funziona correttamente per i set di dati che hanno un numero di classi non bilanciato (ad es. il set di dati è distorto)