Come scegliere un ottimizzatore per il mio modello tensorflow?

Question

Tensorflow sembra avere una vasta collezione di ottimizzatori, c'è qualche linea guida di alto livello (o documento di revisione) su quale si adatta meglio a specifiche classi di funzioni di perdita?

Answer 1

Dipende dai set di dati e dai modelli NN, ma in generale, vorrei iniziare con Adam. La Figura 2 in questo documento (http://arxiv.org/abs/1412.6980) mostra che Adam funziona bene.

Inoltre, è possibile vedere una bella animazione dal http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html.