15
Dal tutorial di google sappiamo come addestrare un modello in TensorFlow. Ma qual è il modo migliore per salvare un modello addestrato, quindi servire la previsione utilizzando un API python minimale di base nel server di produzione.Come distribuire e servire la previsione usando TensorFlow dall'API?
La mia domanda è fondamentalmente per le best practice di TensorFlow per salvare il modello e servire la previsione sul server live senza compromettere la velocità e il problema di memoria. Poiché il server API verrà eseguito sullo sfondo per sempre.
Un piccolo frammento di codice Python sarà apprezzato.
Grazie per questo, Jarek. Sai se ci sono piani per un'implementazione python del lato server per TensortFlow Serving? – eriophora
Non che io sappia dato che la libreria principale è in C++ e focalizzata sulle prestazioni. Puoi condividere più informazioni sul tuo caso d'uso? –
Questo ha senso. Mi piacerebbe distribuire un server che invierà richieste da un numero elevato di utenti, che prendono la forma di immagini e restituirà i risultati di un'inferenza (l'output di un modello il cui input è l'immagine della richiesta). Quello che non è chiaro è che gran parte della documentazione (cioè la definizione di "servables" nella panoramica di architecutre) sembra implicare che TensorFlow Serving restituisca effettivamente i modelli stessi, piuttosto che il loro output ("I servables sono gli oggetti sottostanti che i client usano per eseguire computazione ") ... Mi piacerebbe che il calcolo avvenga lato server, non lato client – eriophora