Come scegliere il numero di livelli nascosti e nodi nella rete neurale?

Question

Che cosa fa il numero di livelli nascosti in una rete neurale percettronica multistrato al modo in cui si comporta la rete neuronale? Stessa domanda per il numero di nodi nei livelli nascosti?

Diciamo che voglio usare una rete neurale per il riconoscimento dei caratteri scritto a mano. In questo caso inserisco i valori di intensità del colore dei pixel come nodi di input e classi di caratteri come nodi di output.

Come scegliere il numero di livelli e nodi nascosti per risolvere questo problema?

Answer 1

La risposta generale è quella per il prelievo di iperparametri è la convalida incrociata. Mantieni alcuni dati, forma le reti con diverse configurazioni e usa quella che offre le prestazioni migliori nel set già tenuto.

Answer 2

Nota: questa risposta era corretta al momento della sua creazione, ma da allora è diventata obsoleta.

---

È raro avere più di due livelli nascosti in una rete neurale. Il numero di livelli di solito non sarà un parametro della rete di cui ti preoccuperai molto.

Anche se le reti neurali multistrato con molti strati possono rappresentare circuiti profondi, la formazione di reti profonde è sempre stato visto come un po ' di una sfida. Fino a poco tempo fa, gli studi empirici hanno spesso rilevato che in genere le reti profonde non eseguivano prestazioni migliori, e spesso peggiori, delle reti neurali con uno o due livelli nascosti, .

Bengio, Y. & LeCun, Y., 2007. Scaling learning algorithms towards AI. Large-Scale Kernel Machines, (1), pp.1-41.

Il documento citato è un buon riferimento per conoscere l'effetto di profondità della rete, i recenti progressi nella didattica reti profonde, e l'apprendimento profondo in generale.

Answer 3

La maggior parte dei problemi che ho visto sono stati risolti con 1-2 livelli nascosti. È dimostrato che gli MLP con un solo livello nascosto sono approssimatori di funzioni universali (Hornik et. al.). Più livelli nascosti possono rendere il problema più facile o più difficile. Di solito devi provare diverse topologie. Ho sentito che non puoi aggiungere un numero arbitrario di livelli nascosti se vuoi allenare il tuo MLP con backprop perché il gradiente diventerà troppo piccolo nei primi strati (non ho riferimenti per questo). Ma ci sono alcune applicazioni in cui le persone utilizzavano fino a nine layers. Forse sei interessato a un standard benchmark problem che è risolto da diversi classificatori e topologie MLP.

Answer 4

Oltre al fatto che la convalida incrociata su diverse configurazioni di modello (numero di livelli nascosti o neuroni per livello) porterà a scegliere una configurazione migliore.

Un approccio è la formazione di un modello, così grande e profondo come possibile e utilizzare dropout regolarizzazione a spegnere alcuni neuroni e ridurre overfitting.

il riferimento a questo approccio può essere visto in questo documento. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf

Answer 5

Tutte le risposte di cui sopra sono ovviamente corretto, ma solo aggiungere qualche idea in più: Alcune regole generali sono le seguenti basano su questo documento: 'Approximating numero di neuroni strato nascosto in più strato nascosto BPNN Architettura' da Saurabh Karsoliya.

In generale:

• Il numero di neuroni strato nascosto sono 2/3 (o 70% al 90%) della dimensione del livello di input. Se questo è insufficiente, il numero di neuroni del livello di output può essere aggiunto in seguito.
• Il numero di neuroni a livello nascosto deve essere inferiore al doppio del numero di neuroni nel livello di input.
• La dimensione dei neuroni del livello nascosto è compresa tra la dimensione del livello di input e la dimensione del livello di output.

sempre tenere a mente che è necessario per esplorare e provare un sacco di combinazioni diverse. Inoltre, utilizzando GridSearch è possibile trovare il "miglior modello e parametri". Per esempio. possiamo fare un GridSearch per determinare la dimensione "migliore" del livello nascosto.