Numero di livelli nascosti in un modello di rete neurale

Question

Qualcuno sarebbe in grado di spiegarmi o indicarmi alcune risorse del perché (o delle situazioni in cui) più di uno strato nascosto sarebbe necessario o utile in una rete neurale?

Answer 1

1. che è più simile al modo in cui funziona il cervello (che potrebbe non essere necessariamente un vantaggio computazionale, ma un sacco di persone stanno occupando NN al fine di conoscere circa il modo in cui funziona la mente, piuttosto che per risolvere i problemi del mondo reale .
2. la sua più facile per raggiungere alcuni tipi di invarianza utilizzando più strati. ad esempio, un classificatore immagine che funziona indipendentemente da dove nell'immagine l'oggetto viene trovato, o le dimensioni dell'oggetto. vedi Bouvrie, J. , L. Rosasco, and T. Poggio. "On Invariance in Hierarchical Models". Advances in Neural Information Processing Systems (NIPS) 22, 2009.

Answer 2

Ogni livello aumenta effettivamente la potenziale "complessità" dell'adattamento in modo esponenziale (al contrario di un modo moltiplicativo di aggiungere più nodi a un singolo livello).

Answer 3

Fondamentalmente più livelli consentono di rappresentare più funzioni. Il libro standard per i corsi di intelligenza artificiale, "Intelligenza artificiale, approccio moderno" di Russell e Norvig, illustra in dettaglio il motivo per cui più strati sono importanti nel Capitolo 20.

Un punto importante è che con un singolo livello nascosto sufficientemente grande, puoi rappresentare ogni funzione continua, ma avrai bisogno di almeno 2 livelli per essere in grado di rappresentare ogni funzione discontinua.

In pratica, tuttavia, un singolo livello è sufficiente per almeno il 99% del tempo.