Quanto velocemente sono in pratica le tecniche di Deep Learning (DNN, DBN, ...)?

Question

Le tecniche di deep learning (rete neurale profonda, rete Deep Belief, reti Deep Stacking, ...) sono molto efficaci in alcune aree. Ci vuole molto tempo per allenarsi, ma questo è un costo solo una volta.

Ho letto diversi articoli su tecniche diverse e si sono concentrati solo sull'accuratezza e il tempo per addestrarli. Quanto sono veloci a produrre una risposta in pratica, una volta addestrati?

Sono disponibili dati sull'analisi comparativa di reti profonde con forse milioni di parametri?

Penso che siano abbastanza veloci dato che tutti i pesi sono corretti, ma dato che le funzioni possono essere piuttosto complesse e il numero di parametri piuttosto elevato, non sono sicuro di come si comportino realmente nella pratica.

Answer 1

La velocità dipende molto dalle dimensioni della rete. Supponendo che la rete sia una rete Feed Forward densa, ogni strato della rete è rappresentato da una matrice (solitamente molto rettangolare). Spingere un input attraverso la rete richiede un prodotto vettoriale matrice. Quindi se hai una rete con 8 livelli, ti porteranno 8 prodotti a matrice. La durata di ciascuna di queste operazioni dipende dalla dimensione originale dell'insieme di dati e dalla dimensione dei suddetti livelli.