ridimensionamento dei dati di input sulla rete neurale

Question

Dobbiamo ridimensionare i dati di input per la rete neurale? In che modo influisce sulla soluzione finale della rete neurale?

Ho provato a trovare alcune fonti affidabili su questo. Il libro "Elementi di apprendimento statistico" (pagina 400) dice che aiuterà a scegliere i pesi casuali iniziali ragionevoli per iniziare.

I pesi finali non sono deterministici indipendentemente dal peso casuale iniziale che usiamo?

Grazie.

Answer 1

In primo luogo, ci sono molti tipi di ANNs, assumerò che si stia parlando del più semplice perceptron multistrato con backpropagation.

In secondo luogo, nella domanda si confonde il ridimensionamento dei dati (normalizzazione) e l'inizializzazione del peso.

È necessario inizializzare in modo casuale i pesi per evitare la simmetria durante l'apprendimento (se tutti i pesi sono inizialmente uguali, anche il loro aggiornamento sarà lo stesso). In generale, i valori concreti non contano, ma valori troppo grandi possono causare una convergenza più lenta.

Lei non è necessaria per normalizzare i vostri dati , ma la normalizzazione possono rendere il processo di apprendimento più veloce. Vedi this question per maggiori dettagli.