Devo aumentare o diminuire la velocità di apprendimento se aggiungo più neuroni o pesi a una rete neurale

Question

Ho una rete neurale convoluzionale che ho modificato l'architettura. Non ho il tempo di riqualificare la rete 10 volte e di eseguire un'enorme convalida incrociata (ricerca della griglia sui parametri ottimali). Voglio regolare in modo intuitivo il tasso di apprendimento.

Devo aumentare o diminuire il tasso di apprendimento dei miei RMS (SGD-based) per ottimizzare se:

1. aggiungo più neuroni agli strati completamente collegati?
2. Su una rete neurale convoluzionale, rimuovo un sottocampionamento (livello medio o massimo pooling) prima delle connessioni complete e aumento la quantità di unità completamente collegate tra quella mappa delle funzioni e le uscite softmax (in modo che ci siano più pesi collegato ai neuroni completamente collegati in alto)?

Answer 1

Bene aggiungendo più strati/neuroni aumenta la possibilità di un adattamento eccessivo. Quindi sarebbe meglio se diminuissi il tasso di apprendimento nel tempo. La rimozione dei livelli di sottocampionamento aumenta anche il numero di parametri e di nuovo la possibilità di un adattamento eccessivo. È altamente raccomandato, comprovato dai risultati empirici, che strati di sottocampionamento possono aiutare il modello ad apprendere in modo migliore in modo significativo. Quindi evita di rimuoverli.

Inoltre, ti suggerisco di generare altri esempi ritagliando le immagini e allenando il modello con quelle versioni ritagliate. Funziona come un normalizzatore che aiuta il modello a imparare una migliore distribuzione dei dati. Quindi puoi anche aumentare il numero di strati/neuroni con meno rischi di over-fitting.