Perché una funzione di attivazione non lineare deve essere utilizzata in una rete neurale di backpropagation?

Question

Ho letto alcune cose sulle reti neurali e capisco il principio generale di una rete neurale a singolo strato. Comprendo la necessità di livelli aggiuntivi, ma perché vengono utilizzate le funzioni di attivazione non lineari?

Questa domanda è seguita da questo: What is a derivative of the activation function used for in backpropagation?

Answer 1

Lo scopo della funzione di attivazione è di introdurre non linearità nella rete

a sua volta, questo permette di modellare una variabile di risposta (alias bersaglio variabile, etichetta di classe, o score) che varia in modo non lineare con le sue variabili esplicative

non lineare significa che l'uscita non può essere riprodotto da una combinazione lineare degli ingressi (che non è la stessa uscita che rende ad una retta - la parola questo è affine).

altro modo pensare esso: senza funzione di attivazione non lineare nella rete, un NN, indipendentemente dal numero di strati aveva, sarebbe comportarsi come un perceptron singolo strato, perché sommando questi strati sarebbe darti solo un'altra funzione lineare (vedi definizione appena sopra).

>>> in_vec = NP.random.rand(10) 
>>> in_vec 
    array([ 0.94, 0.61, 0.65, 0. , 0.77, 0.99, 0.35, 0.81, 0.46, 0.59]) 

>>> # common activation function, hyperbolic tangent 
>>> out_vec = NP.tanh(in_vec) 
>>> out_vec 
array([ 0.74, 0.54, 0.57, 0. , 0.65, 0.76, 0.34, 0.67, 0.43, 0.53]) 

Una funzione di attivazione comune utilizzato in backprop (tangente iperbolica) valutata tra -2 e 2:

Answer 2

quanto ricordo - Funzione Sigmoidea vengono utilizzati perché il loro derivato che si inserisce nel algoritmo di BP è facile da calcolare, qualcosa di semplice come f (x) (1-f (X)). Non ricordo esattamente la matematica. In realtà è possibile utilizzare qualsiasi funzione con derivati.

Answer 3

"Il presente documento fa uso della Pietra Weierstrass Teorema e lo spacciatore coseno di Gallant e White per stabilire che le architetture di rete feedforward standard multistrato che utilizzano funzioni di schiacciamento abritrario possono approssimare virtualmente qualsiasi funzione di interesse a qualsiasi grado desiderato di accuratezza , a condizione che siano disponibili molte unità nascoste. " (Hornik et al., 1989, http://weber.ucsd.edu/~hwhite/pub_files/hwcv-028.pdf)

Una funzione di schiacciamento è ad esempio una funzione di attivazione non lineare che si associa a [0,1] come la funzione di attivazione sigmoide.

Answer 4

Non è affatto un requisito. In effetti, lo rectified linear activation function è molto utile nelle grandi reti neurali. Il calcolo del gradiente è molto più veloce, e induce scarsità impostando un limite minimo a 0.

Vedere quanto segue per maggiori dettagli: https://www.academia.edu/7826776/Mathematical_Intuition_for_Performance_of_Rectified_Linear_Unit_in_Deep_Neural_Networks

---

Edit:

Ci sono state alcune discussione sul se la funzione di attivazione lineare rettificata può essere chiamata una funzione lineare.

Sì, è tecnicamente una funzione non lineare perché non è lineare nel punto x = 0, tuttavia, è comunque corretto dire che è lineare in tutti gli altri punti, quindi non penso che sia utile to nitpick here,

Avrei potuto scegliere la funzione di identità e sarebbe ancora vero, ma ho scelto ReLU come esempio a causa della sua recente popolarità.

Answer 5

Un NN stratificato di diversi neuroni può essere utilizzato per apprendere problemi linearmente inseparabili. Ad esempio la funzione XOR può essere ottenuta con due livelli con la funzione di attivazione passo.

Answer 6

Se si abilitano solo funzioni di attivazione lineare in una rete neurale, l'uscita sarà semplicemente un linear transformation dell'input, che non è sufficiente per formare un universal function approximator. Una rete di questo tipo può essere semplicemente rappresentata come una moltiplicazione di matrice e non sarà possibile ottenere comportamenti molto interessanti da tale rete.

La stessa cosa vale per il caso in cui tutti i neuroni hanno funzioni di attivazione affine (cioè una funzione di attivazione della maschera f(x) = a*x + c, dove a e c sono costanti, che è una generalizzazione di funzioni di attivazione lineari), che sarà solo provocare un affine transformation dall'input all'output, che non è neanche molto eccitante.

Una rete neurale può contenere molto bene i neuroni con funzioni di attivazione lineare, ad esempio nello strato di output, ma questi richiedono la compagnia di neuroni con una funzione di attivazione non lineare in altre parti della rete.

Answer 7

È possibile utilizzare una funzione di attivazione lineare. Tuttavia in occasioni molto limitate. In effetti, per capire meglio le funzioni di attivazione è importante guardare la minima quadratura ordinaria o semplicemente la regressione lineare. Una regressione lineare mira a trovare i pesi ottimali che si traducono in un effetto verticale minimo tra le variabili esplicative e target, quando si combinano con l'input. In breve, se l'output previsto è in linea con la regressione lineare come mostrato di seguito, è possibile utilizzare le funzioni di attivazione lineare: (Figura in alto). Ma nella seconda figura sotto la funzione lineare non produrrà i risultati desiderati: (figura centrale) Tuttavia, una funzione non lineare come mostrato sotto produrrebbe i risultati desiderati: (figura inferiore)

funzioni di attivazione non può essere lineare in quanto le reti neurali con funzione di attivazione lineare sono efficaci solo uno strato profondo, indipendentemente dalla complessità loro architettura siamo. Gli input alle reti sono solitamente trasformazioni lineari (input * weight), ma il mondo reale ei problemi non sono lineari. Per rendere i dati in arrivo non lineari, utilizziamo la mappatura non lineare chiamata funzione di attivazione. Una funzione di attivazione è una funzione decisionale che determina la presenza di particolari funzionalità neurali. È mappato tra 0 e 1, dove zero significa che la funzione non è presente, mentre uno indica che la funzione è presente. Sfortunatamente, le piccole modifiche che si verificano nei pesi non possono essere riflesse nel valore di attivazione perché possono prendere solo 0 o 1. Pertanto, le funzioni non lineari devono essere continue e differenziabili tra questo intervallo. Una rete neurale deve essere in grado di prendere qualsiasi input da -infinity a + infinito, ma dovrebbe essere in grado di mapparlo su un output che varia tra {0,1} o tra {-1,1} in alcuni casi - quindi la necessità della funzione di attivazione. La non-linearità è necessaria nelle funzioni di attivazione perché il suo scopo in una rete neurale è di produrre un limite di decisione non lineare attraverso combinazioni non lineari del peso e degli input.