Devo mantenere/rimuovere esempi di allenamento identici che rappresentano oggetti diversi?

Question

Ho preparato un set di dati per riconoscere un certo tipo di oggetti (circa 2240 esempi di oggetti negativi e solo circa 90 esempi di oggetti positivi). Tuttavia, dopo aver calcolato 10 funzioni per ciascun oggetto nel set di dati, il numero di istanze di allenamento esclusive è sceso a circa 130 e 30, rispettivamente.

Poiché le istanze di allenamento identiche rappresentano effettivamente oggetti diversi, posso dire che questa duplicazione contiene informazioni pertinenti (ad esempio la distribuzione dei valori delle caratteristiche degli oggetti), che può essere utile in un modo o nell'altro?

Answer 1

Se si omettono i duplicati, si altererà la velocità di base di ciascun oggetto distinto. Se i dati di allenamento sono un campione rappresentativo del mondo reale, allora non lo vuoi, perché in effetti ti stai allenando per un mondo leggermente diverso (uno con tariffe di base diverse).

Per chiarire il punto, prendere in considerazione uno scenario in cui ci sono solo due oggetti distinti. I tuoi dati originali contengono 99 dell'oggetto A e 1 dell'oggetto B. Dopo aver eliminato i duplicati, hai 1 oggetto A e 1 oggetto B. Un classificatore addestrato sui dati deduplicati sarà sostanzialmente diverso da quello addestrato sui dati originali.

Il mio consiglio è di lasciare i duplicati nei dati.