Come rilevare ed eliminare il rumore in rapidminer?

Question

Sono nuovo in rapid minatore 5, voglio solo sapere come trovare rumore nei miei dati e mostrarli nel grafico e come eliminarli?

Answer 1

Un problema complesso perché dipende da cosa intendi per rumore.

Se si intende trovare singoli attributi i cui valori sono errati, è possibile tracciare una vista dell'istogramma e calcolare una sorta di limite su ciò che costituisce un valore valido. È quindi possibile imporre tale regola utilizzando Filter Examples per rimuoverli.

Se si intende trovare attributi con una sorta di jitter casuale applicato a loro, sarebbe difficile rilevarli. Solo conoscendo in anticipo quale sia la forma prevista della distribuzione, potresti confrontarti con l'osservazione e fare qualcosa al riguardo. Tuttavia, l'azione da intraprendere non è affatto ovvia.

Se si intende trovare esempi all'interno di un set di esempio che sono ovviamente diversi da altri esempi, è possibile prendere in considerazione l'utilizzo delle varie funzioni di valori anomali. Il più semplice per iniziare è Detect Outlier (Distances). Questo trova un numero predefinito di valori anomali (predefinito 10) in base a un calcolo della distanza che utilizza tutti gli attributi per gli esempi. Crea un nuovo attributo chiamato outlier impostato su true o false. È quindi possibile utilizzare l'operatore Filter Examples per rimuovere quelli impostati su true.

Speranza che almeno aiuti come inizio.